将hive数据库中的数据导入到MySQL中的方式

天气炎热,写篇文章降降温,防止中暑。
大数据的数据转置过程中,经常需要将hive数据库中的数据迁移到MySQL等关系型数据库中。而目前市场上成熟的方案已经比比皆是,如利用sqoop的方式、kettle等中间工具。
今天正好闲来无事,考虑在不利于以上2种方式的情况下,成功将hive数据库中的数据导入到了MySQL中。以下为实例。

首先附上一张思路图:
在这里插入图片描述
命题:在Hadoop的/file目录中,有一个全国各个城市的坐标(经纬度)文件(coordinate.txt),已利用“\t”分割。现在需要将其存入到hive数据库中,再将hive中的数据导入到MySQL数据库中。
在这里插入图片描述
一、在hive中建立一个实例:如liqx

create database liqx;

二、使用liqx实例,在其中建一张名为coordinate的表,通过“\t”的方式切割字段。(生产环境中涉及到每天的落地日志时,可以以年月日的方式来建立分区“partition”)
①、全国城市坐标(经度纬度):coordinate

CREATE TABLE `coordinate`(
  `code` string, 
  `name&
可以使用以下两种方法将Hive数据导入MySQL: 1. 使用Sqoop导出数据MySQL Sqoop是一个开源工具,用于在Hadoop和关系型数据库间进行数据传输。以下是导出数据MySQL的示例命令: ``` sqoop export \ --connect jdbc:mysql://mysql_host:port/mysql_database \ --username mysql_username \ --password mysql_password \ --table mysql_table \ --export-dir hive_table \ --input-fields-terminated-by ',' \ --input-lines-terminated-by '\n' \ --input-null-string '\\N' \ --input-null-non-string '\\N' ``` 其mysql_host是MySQL主机名或IP地址,port是MySQL端口号,mysql_database是MySQL数据库名称,mysql_username和mysql_password是MySQL登录凭据,mysql_table是要导入MySQL表名,hive_table是要导出的Hive表名。 2. 使用Hive自定义输出格式将数据导出到MySQL Hive支持自定义输出格式,可以将数据输出为文本文件,并使用LOAD DATA命令将其导入MySQL。以下是使用Hive自定义输出格式将数据导出到MySQL的示例命令: ``` INSERT OVERWRITE DIRECTORY '/tmp/hive_output' ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n' SELECT * FROM hive_table; LOAD DATA LOCAL INFILE '/tmp/hive_output' INTO TABLE mysql_table FIELDS TERMINATED BY ',' LINES TERMINATED BY '\n'; ``` 其hive_table是要导出的Hive表名,mysql_table是要导入MySQL表名。在第一条命令,将数据输出为以逗号分隔的文本文件,存储在/tmp/hive_output目录。在第二条命令,使用LOAD DATA命令将文本文件导入MySQL。请注意,LOAD DATA命令需要在MySQL客户端执行。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值