拷贝mysql-connector-java-5.1.28.jar到sqoop文件夹下的lib里
启动HDFS集群,zookeeper集群,yarn运算
打开操作的数据库sqlyog,连接到hadoop机器1
新创建个test数据库
在test库中创建个student,添加属性 sid,sname,gender,age
开启hive
Hive数据也存在于HDFS集群中
hive>create table student(sid int,sname string,gender string,age int)
>row format delimited fields terminated by ‘,’;
Ok
Timetaken:0.322 seconds
克隆回话hadoop01
配置下环境变量;sudo vi /etc/profile
添加:
然后wq保存,生效:source /etc/profile
验证:sqoop version 会出来版本号
我们需要把hive中的表删除drop table student,然后
输入:
sqoop import --connect jdbc:mysql://hadoop01:3306/qingmang --username root --password 123456 --table student --target-dir /user/hive/warehouse/qingmang.db/student --m 1 --fields-terminated-by ','
我们在windows集群界面就可以看到
先导入数据 ,在建立表
命令参考:
sqoop import --connect jdbc:mysql://hadoop01:3306/qingmang --username root --password 123456 --table student --target-dir /user/hive/warehouse/qingmang.db/student --m 1 --fields-terminated-by ','
要求表不存在
sqoop export \
--connect jdbc:mysql://hadoop01:3306/qingmang \
--username root \
--password 123456 \
--table mark \
--export-dir /user/hive/warehouse/qingmang.db/mark/ \
--fields-terminated-by ','
倒数第二行注意路径!!!