Sqoop数据导入第3关：Mysql导入数据至Hive中

是草莓熊吖

已于 2022-12-14 17:31:48 修改

阅读量928

点赞数

分类专栏： hadoop sqoop Educoder 文章标签： hbase hadoop 大数据 sqoop hive

于 2022-12-02 15:59:51 首次发布

本文链接：https://blog.csdn.net/qq_61604164/article/details/128148747

版权

本文介绍了如何解决Sqoop从Mysql导入数据到Hive时的错误，包括缺失包的问题以及如何处理已存在的输出文件。首先，通过直接导入方式，解决Hive报错并进行数据传输。其次，探讨了通过HDFS作为中间步骤，先将MySQL数据导入HDFS，再由Hive读取的方法。最后，提出了编程要求，即筛选学生年龄大于20的数据并导入到Hive的test2表中。

摘要由CSDN通过智能技术生成

注意！如果重置了代码仓库请用以下步骤：

start-all.sh

schematool -dbType mysql -initSchema

重置之后mysql数据库里数据没了，所以重新输入就行。

mysql -uroot -p123123 -h127.0.0.1

create database hdfsdb;

use hdfsdb;

create table student(stu_no int primary key, stu_name varchar(20), stu_age int);

insert into student values(202001,"zhangsan",18);

insert into student values(202002,"lisi",19);

insert into student values(202003,"wangwu",20);

exit;

hive

create table test2(stu_no int,stu_name string,stu_age int)

row format delimited

fields terminated by ",";

exit;

sqoop import --connect jdbc:mysql://127.0.0.1:3306/hdfsdb --username root --password 123123 --query 'select stu_no, stu_name,stu_age from student where stu_age>=20 and $CONDITIONS' --target-dir /user/root/hdfsdb6   --fields-terminated-by ',' -m 1 

hive

load data inpath '/user/root/hdfsdb6/part-m-00000' into table test2;