环境介绍:
A、B、C、D四台节点的hadoop集群,其中A为namenode
、resourcemanager,B、C、D为datanode、nodemanager。A节点安装了sqoop-1.4.6,hive,mysql
实验:
1.A节点使用sqoop普通方式从Mysql的sqoop库中的tohdfs表中导入到hdfs
sqoop import \
--connect jdbc:mysql://namenode:3306/sqoop \
--username root \
--password 123456 \
--table tohdfs \
--delete-target-dir \
--target-dir /sqoop \
-m 1
参数解释:
--connect 指定连接Mysql的主机名和端口号
--username 指定连接的用户名
--password 指定密码
--table mysql数据库中的表名
备注:mysql数据库需要数据节点有访问权限
--delete-target-dirhdfs导入的目录存在的话先删除
--target-dir
hdfs导入的路径,不写默认路径为/user/$user/下
-m
指定导入到hdfs路径的map数据量,由于没有reduce,及-m的个数是最后hdfs输出目录的个数
2.
成功导入,并在/sqoop目录下生成一个表名的目录,其下有一个part-m-00