sqoop学习笔记&hive和hbase整合

• 安装
  1.安装过程就是解压
  2.修改conf/目录下的sqoop-env-template.sh为sqoop-env.sh（应该改不改都行）文件里面不需要配置 因为环境变量里都有
  3.然后就是添加环境变量

export SQOOP_HOME=/opt/sqoop
export PATH=$PATH:$SQOOP_HOME/bin

记得source /etc/profile
4.还要添加数据库驱动包（放在lib/目录下）
5.修改配置文件bin/configure-sqoop
请参考https://blog.csdn.net/wx1528159409/article/details/87948866
6.测试sqoopsqoop version
测试连接数据库
sqoop list-databases -connect jdbc:mysql://master.oppo.com:3306/ -username root -password 123456

• 使用sqoop从mysql将数据导入hdfs

sqoop import --connect jdbc:mysql://master.oppo.com/test --username root --password 123456 --table psn --columns id,name -m 1 --target-dir /sqoop

对上面命令解释如下：

--connect 连接数据库
--username
--password
--table 需要用的表（必填）
--columns 需要用到的列
-m mapper的个数
--target-dir 目标