1.创建数据库etl,使用etl数据库
2.创建etltest表,用\t分隔,同步HDFS上etltest目录下的数据
create table etltest
(
xh String,
name String,
grade String,
endgrade String
)
row format delimited fields terminated by '\t' stored as textfile
location '/etltest';
3.上传实验数据test2.txt,把它重命名为test2,-put把数据上传到hdfs的etltest目录下使其与hive同步。
mv test2.txt test2
hdfs dfs -mkdir /etltest
hdfs dfs -put test2 /etltest
查看数据,成功同步。
select * from etltest;
4.查看学号、姓名、期末成绩,以期末成绩倒序排序查看。
select xh,name,endgrade from etltest order by endgrade desc;
5.创建表good,以逗号分隔,数据放在good目录下。
create table default.good
(xh string,
name string,
endgrade string
)
row format delimited fields terminated by ',' stored as textfile location '/good';
6.向good表写入etltest表中期末成绩前10的学号、姓名、期末成绩数据。
insert into default.good select xh,name,endgrade from etltest order by endgrade desc limit 10;
7.查看hdfs上的数据
hdfs dfs -ls /good
8.在MySQL中创建good表
create table good(id varchar(200),name varchar(20),endgrade double);
9.用sqoop命令把数据同步到MySQL
sqoop export --connect jdbc:mysql://192.168.17.135:3306/learn --username root --password 123456 --table good -export-dir /good/000000_0
10.查看MySQL上的数据。
select * from good;
完成!!!