天气炎热,写篇文章降降温,防止中暑。
大数据的数据转置过程中,经常需要将hive数据库中的数据迁移到MySQL等关系型数据库中。而目前市场上成熟的方案已经比比皆是,如利用sqoop的方式、kettle等中间工具。
今天正好闲来无事,考虑在不利于以上2种方式的情况下,成功将hive数据库中的数据导入到了MySQL中。以下为实例。
首先附上一张思路图:
命题:在Hadoop的/file目录中,有一个全国各个城市的坐标(经纬度)文件(coordinate.txt),已利用“\t”分割。现在需要将其存入到hive数据库中,再将hive中的数据导入到MySQL数据库中。
一、在hive中建立一个实例:如liqx
create database liqx;
二、使用liqx实例,在其中建一张名为coordinate的表,通过“\t”的方式切割字段。(生产环境中涉及到每天的落地日志时,可以以年月日的方式来建立分区“partition”)
①、全国城市坐标(经度纬度):coordinate
CREATE TABLE `coordinate`(
`code` string,
`name&