〇、概述
1、拓扑结构
2、目标
使用sqoop工具将数据从mysql数据库导入到HDFS和Hbase
一、配置免密登录hdfs
三、导入到hdfs中
sqoop import --connect jdbc:mysql://localhost:3306/lydsj --username root -P --table tbl_gender --target-dir /mysql/output --m 1
将数据库中的数据导入到hdfs的目录下,过程中要输入密码000000。需要等待一段时间。
使用hadoop fs -cat /mysql/output/part-m-00000查看导入的结果
四、导入到hbase中
在终端中输入hbase shell
输入命令创建表:create 'tbl_dim','info'
输入quit退出hbase shell。之后输入
sqoop import -m 1 --connect jdbc:mysql://localhost:3306/lydsj --username root --password 000000 --table tbl_dimensioncat --hbase-table tbl_dim --columns DIMCATID,DIMENSIONNAME,MEMO --column-family info --hbase-row-key DIMCATID
将数据导入到HBASE中
终端输入hbase shell
在hbase shell中输入scan 'tbl_dim'
查看表中的内容