20210126_sqoop学习笔记

一、部分理论
sqoop:实现数据从数据库的导入导出

二、安装与配置
1.官网下载并解压。下载 1.4.6 。 1.4.7为测试版本
tar -xzvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz
mv /root/sqoop-1.4.6.bin__hadoop-2.0.4-alpha /root/sqoop-1.4.6
mv /root/sqoop-1.4.6/conf/sqoop-env-template.sh /root/sqoop-1.4.6/conf/sqoop-env.sh
vim /root/sqoop-1.4.6/conf/sqoop-env.sh
export HADOOP_COMMON_HOME=/root/hadoop-2.10.1
export HADOOP_MAPRED_HOME=/root/hadoop-2.10.1
export HBASE_HOME=/root/hbase-2.4.0
export HIVE_HOME=/root/hive-3.1.2
export ZOOCFGDIR=/root/zookeeper-3.6.2
export ZOOKEEPER_HOME=/root/zookeeper-3.6.2
vim /root/.bash_profile
export SQOOP_HOME=/root/sqoop-1.4.6
export PATH=$SQOOP_HOME/bin:$PATH
2.拷贝驱动包，如果要链接mysql就需要mysql驱动包，如果是oracle也需要oracle驱动包
cp /root/mysql-connector-java-8.0.22.jar /root/sqoop-1.4.6/lib/

3.测试
/root/sqoop-1.4.6/bin/sqoop help
sqoop list-databases --connect jdbc:mysql://master:3306/ --username root --password yehaver 

mysql> insert into staff values(1,'thomas','male');
mysql> insert into staff values(2,'catalina2','female');

#mysql导入数据到hadoop集群
sqoop import \
--connect jdbc:mysql://192.168.100.101/company?usessl=fase \
--username root \
--password yehaver \
--table staff \
--columns "id,sex" \   #只导出固定字段
--where "id=1"   #增加where条件的数据导出
--target-dir /user/company \
--num-mappers 1 \
--fields-terminated-by "\t" \
--split-by id \  #指定数据库表中的主键字段名，在这里为id。

sqoop import \
--connect jdbc:mysql://192.168.100.101/company?usessl=fase \
--username root \
--password yehaver \
--target-dir /user/company \
--delete-target-dir \
--num-mappers 1 \
--fields-terminated-by "\t" \
--query 'select name,sex from staff where id <= 1 and $CONDITIONS;'  #sql模式只导出固定字段

--delete-target-dir \  #生产环境不要加这个，会把已有数据删了

#将数据库表的数据导入到hive中，如果在hive中没有对应的表，则自动生成与数据库表名相同的表
sqoop import \
--connect jdbc:mysql://master:3306/company \
--username root \
--password yehaver \
--table staff \
--hive-import \
--hive-overwrite \
--hive-table staff_hive \
--fields-terminated-by "\t"

#将数据库表导入到hbase中
sqoop import \
--connect jdbc:mysql://192.168.100.101:3306/company \
--username root \
--password yehaver \
--table staff \
--hbase-create-table \
--hbase-row-key "id" \
--hbase-table "hbase_company" \
--columns "id,name,sex" \
--column-family "info" \
--num-mappers 1 \
--split-by id

# 我的 hbase 2.4.0版本太高，sqoop 1.4.6版本与其不兼容，导致导入失败
Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hadoop.hbase.client.HBaseAdmin.<init>(Lorg/apache/hadoop/conf/Configuration;)V

#hadoop导出数据到mysql
sqoop export \
--connect jdbc:mysql://master/company?useUnicode=true&characterEncoding=utf-8 \
--username root \
--password yehaver \
--password-file /user/hadoop/.password \  #可以指定密码文件，更安全
--table staff \
--num-mappers 1 \
--staging-table mysql_tablename_tmp \
--clear-staging-table \
--export-dir /user/hive/warehouse/stock_partition/tradedate=20191223 \
--export-dir /user/hive/warehouse/staff_hive \
--input-fields-terminated-by "\t"

#sqoop调用导入或者导出脚本
vim /root/study/import_hdfs.opt  #将上面导入脚本放入此文件中
sqoop --option-file /root/study/import_hdfs.opt

#生成与关系数据库表的表结构对应的HIVE表
sqoop create-hive-table --connect jdbc:mysql://master:3306/test --username root --password yehaver --table t_my_test --hive-table t_my_test

#可以快速地使用SQL语句对关系数据库进行操作，这可以使得在使用import这种工具进行数据导入的时候，可以预先了解相关的SQL语句是否正确，并能将结果显示在控制台。
sqoop eval --connect jdbc:mysql://master:3306/test --username root --password yehaver -query 'select * from t_my_test limit 10'
sqoop eval --connect jdbc:mysql://master:3306/test --username root --password yehaver -e 'INSERT INTO t_my_test VALUES(100,"weiming")'

将数据库里的所有表导入到HDFS中，每个表在hdfs中都对应一个独立的目录。
sqoop import-all-tables --connect jdbc:mysql://master:3306/test --hive-import