3. Sqoop
3.1环境
在以上环境完成以后如果要对关系型数据库进行交互,那么需要Sqoop。以上安装的是组件服务组件中检查一下是不是有Sqoop或者Sqoop2。这个是与关系型数据库交互的服务组件。如果没有。按照下图进行增加。推荐使用Sqoop,这个属于客户端类型,上手比较简单。
选中Sqoop Client组件,进行安装。角色推荐放在主节点(hbase、hive所在的机器)
3.2支持
连接mysql需要相应的包,包名mysql-connector-java-5.1.26-bin.jar可以去下载或者下载更新的。
推荐放在主节点的/opt/cloudera/parcels/CDH-5.4.3-1.cdh5.4.3.p0.6/lib/hadoop/ 红色部分是CDH版本不同可能数字会有点不一样。
3.3Sqoop连接mysql
示例:
sqoop list-databases --connect jdbc:mysql://172.20.2.105:p/ --username root --password p
sqoop list-tables --connect jdbc:mysql://172.20.2.105:p/mysql --username root --password P
红色部分是变量,根据实际情况自己填写。
3.4 mysql导入hive
先创建表结构
sqoop create-hive-table --connect jdbc:mysql://172.20.2.105:p/test --table yyy --username root --password P --hive-table yyy
红色部分是变量,根据实际情况自己填写。
再导数据
sqoop import --connect jdbc:mysql://172.20.2.105:p/test --username root --password P --table yyy --hive-import
mysql的表必须有主键,才能导入。
3.5 hive导入mysql
sqoop export --connect jdbc:mysql://172.20.2.105:p/test --username root --password P --table zzz --export-dir /user/hive/warehouse/yyy --input-fields-terminated-by '\0001'
红色部分是变量,根据实际情况自己填写。
导出路径的地址用命令:hadoop fs -lsr / 进行查看。
导入之前mysql中的表结构也要建立起来才能导入成功。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/637517/viewspace-1766830/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/637517/viewspace-1766830/