sqoop同步数据hive--->mysql

1.创建数据库etl,使用etl数据库

2.创建etltest表,用\t分隔,同步HDFS上etltest目录下的数据

create table etltest
(
xh String,
name String,
grade String,
endgrade String
)
row format delimited fields terminated by '\t' stored as textfile
location '/etltest';

 

3.上传实验数据test2.txt,把它重命名为test2,-put把数据上传到hdfs的etltest目录下使其与hive同步。

mv test2.txt test2

hdfs dfs -mkdir /etltest

hdfs dfs -put test2 /etltest

查看数据,成功同步。

select * from etltest;

 

4.查看学号、姓名、期末成绩,以期末成绩倒序排序查看。

 

select xh,name,endgrade from etltest order by endgrade desc;

 

 

5.创建表good,以逗号分隔,数据放在good目录下。

create table default.good
(xh string,
name string,
endgrade string
)
row format delimited fields terminated by ',' stored as textfile location '/good';

 

6.向good表写入etltest表中期末成绩前10的学号、姓名、期末成绩数据。

insert into default.good select xh,name,endgrade from etltest order by endgrade desc limit 10;

 

7.查看hdfs上的数据

hdfs dfs -ls /good

 

8.在MySQL中创建good表

create table good(id varchar(200),name varchar(20),endgrade double);

9.用sqoop命令把数据同步到MySQL

sqoop export --connect jdbc:mysql://192.168.17.135:3306/learn --username root --password 123456 --table good -export-dir /good/000000_0

 

10.查看MySQL上的数据。

select * from good;

 

完成!!! 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值