Hadoop生态圈之Sqoop

版权声明:本文为博主原创文章,转载请注明出处。 https://blog.csdn.net/diyangxia/article/details/78486321

1、sqoop是什么

Sqoop是一个用来将Hive和Mysql中的数据相互转移的工具,也可以将Hdfs的数据导入到Mysql中。

官方地址:http://sqoop.apache.org/

2、安装配置

2.1 安装sqoop

安装包下载地址,

https://mirrors.cnnic.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz

解压到当前目录

tar -zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

然后可以用mv命令移动重命名解压后的目录到指定目录

mv sqoop-1.4.6.bin__hadoop-2.0.4-alpha sqoop-1.4.6.bin

2.2 配置环境变量

vi ~/.bash_profile

添加如下内容进去

export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:/Users/liuxunming/MyConfigure/apache-hive-1.2.2-bin/lib/*
export SQOOP_HOME=/Users/liuxunming/MyConfigure/sqoop-1.4.6.bin__hadoop-2.0.4-alpha
export PATH=$SQOOP_HOME/bin:$PATH

使其生效

source .bash_profile

配置sqoop-env.sh,默认解压后的sqoop安装目录的conf下没有这个文件,复制conf/sqoop-env-template.sh改名为sqoop-env.sh,并修改其中内容如下:

# Hadoop
export HADOOP_PREFIX=/Users/liuxunming/MyConfigure/hadoop-2.7.4
export HADOOP_HOME=${HADOOP_PREFIX}
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_YARN_HOME=${HADOOP_PREFIX}
# Native Path
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib/native"
# Hadoop end

#Hive
export HIVE_HOME=/Users/liuxunming/MyConfigure/apache-hive-1.2.2-bin
export PATH=$HIVE_HOME/bin:$PATH

导入几个jar包到lib目录下

hive-hcatalog-core-2.3.1.jar
mysql-connector-java-5.1.34.jar

至此,配置基本完成。

3、数据表导出

导出hive表到mysql,首先得有一个hive表,当然这里我们已经配置好了hive环境

3.1 创建hive表

create table cup (id string,dname string) row format delimited fields terminated by '|';

注意这个分隔符命令要有

3.2 导入数据到hive表

源数据样式为,存在于hdfs上,这就是hadoop的mapreduce的执行结果文件

13501590629|55D7203CF53C8BDD709A52009EFB4106
15305100178|425D5120A23B40A4C28559D61478E1E2
18305111883|84CCFFDBB47C2F529AD0BCB8ADE9D185
13345189666|39A0B547B1C80C09D0A0739F106023FB

导入hdfs文件到hive表命令

load data inpath '/data/result/part-r-00000' into table cup;

执行以上命令后,是直接把原数据导走,就是原数据已经不再存在原来的位置。

3.3 导出到mysql

sqoop export --connect  jdbc:mysql://127.0.0.1:3306/cc  --username root --password 123456 --table ff  --columns id,name,sex,date --export-dir /user/hive/warehouse/cup4 --input-fields-terminated-by '|'

有几个注意点:
1、127.0.0.1这是ip地址,3306是端口号,cc是数据库名,不能使用localhost代替,否则会报Access denied for user ‘root’
2、–password这里可以使用-P,就不会出现密码的明文在命令行里
3、–table 代表的是本地mysql中建立的表名
4、–export-dir 后面的参数值是hdfs上的hive数据表对应的文件位置,道理上讲,创建一个数据表的话,在/user/hive/warehouse下就会有对应的目录生成
5、–input-fields-terminated-by 这是一个很重要的字段,分隔符,根据数据格式填入相应分隔符,不然无法正确导入,或者导入进去的会是NULL
6、–columns 这代表可以指定导入某些列,应用场景是hive中的结构与mysql的表结构不一致的情况,如果顺序不一致的话,只能去调整hdfs文件的输出顺序,也没有办法跨列导出,这也是一个不足之处
7、导出过程中sqoop会根据目标表(数据库)的结构会生成一个Java类,该类的作用为序列化和反序列化。

3.4 批量导入到mysql

批量导入到奥义就是在上一步到基础上把–export-dir到输入路径改为一个目录,类似这样

/xm/output/*/result/

意思就是说/xm/output目录下有多个以日期命名的结果集,hadoop跑出的最终结果放在了result目录下,即result/part-r-00000

3.5 数据覆盖更新

添加两个属性,数据存在则更新,不存在则插入

update-key "id,url_id" update-mode allowinsert #指定联合主键的值

或者多个主键

update-key id update-mode allowinsert #指定更新的模式为可插入,默认为 updateonly

要注意的是 表中主键要是id,且有唯一约束

4、Password配置别名

在sqoop的export命令中,需要连接数据库,这里不能使用明文,太不安全了,所以hadoop提供了一种最优方式–别名,当然还有一种较安全的方式是文件密码,但是存在文件里的密码还是明文,然而这种别名密码所对应的文件就是一堆乱码了,无法解析,足够安全。

4.1 生成别名

hadoop credential create mysql.test.pwd.alias -provider jceks://hdfs/user/password/mysql.test.pwd.jceks

按下回车后,需要输入两次密码才算成功创建别名文件。其中mysql.test.pwd.alias这个是我们要使用的别名,mysql.test.pwd.jceks这个是生成的别名文件名,前面的hdfs代表这个文件存放在hdfs上,/user/password/目录下;当然我们也可以把别名文件放在本地,形如这样:

localjceks://file/tmp/mysql.test.pwd.jceks

两者各有利弊吧,建议还是使用hdfs方式

4.2 使用别名

sqoop export -Dhadoop.security.credential.provider.path=jceks://hdfs/user/password/mysql.test.pwd.jceks --connect  jdbc:mysql://192.168.10.1:3306/test --username test --password-alias mysql.test.pwd.alias

这里有注意的是-Dhadoop…要放在export命令的后面,不然会报错,当然正常人应该不会犯这种低级错误

No such sqoop tool: -Dhadoop.security.credential.provider.path=jceks://hdfs/user/password/mysql.test.pwd.jceks. See 'sqoop help'.

5、参考博文

  1. Sqoop安装配置及Hive导入
  2. Sqoop-1.4.4工具import和export使用详解
  3. 将Hive统计分析结果导入到MySQL数据库表中(一)——Sqoop导入方式
  4. Hive启动报错解决方法
  5. Sqoop导出hive数据到mysql
  6. [总结型] sqoop导入到HDFS怎么都是java文件总结
  7. Hadoop数据传输工具sqoop(四)Java远程调用Sqoop进行数据传输

6、问题 — 字符编码

Sqoop导出hdfs到mysql失败:卡住map阶段100%,超时四五次后自动停止失败
查看错误日志(查看方法就是根据applicationid去hadoop的logs目录下的userlogs目录下查找对应目录)

org.apache.sqoop.mapreduce.AsyncSqlOutputFormat: Got exception in update thread: java.sql.SQLException: Incorrect string value: '\xEF\xBB\xBFcre...' for column 'url' at row 28

解决办法:明显是url这个字段的字符集有问题,于是修改这张表的url字段,设置它的字符集为utf8mb64,原理是mysql中规定utf8字符的最大字节数是3,但是某些unicode字符转成utf8编码之后有4个字节,所以需要换成utf8mb64

7、问题 — hive到mysql

Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.hive.conf.HiveConf

报上面的错误的话,就把HADOOP_CLASSPATH增加到环境变量中即可,见参考博文4

有一个貌似是直接导出hive表名到mysql的命令

sqoop export --connect  jdbc:mysql://127.0.0.1:3306/cc  --username root --password 123456 --table  dd  --hcatalog-database mydatabase --hcatalog-table cup

不过执行后却抛出了以下错误异常,基本没搜到类似错误,暂时无解,留个坑在这里,望路过的各位大神不吝赐教

Exception in thread "main" java.lang.NoSuchMethodError: org.apache.hive.common.util.ShutdownHookManager.addShutdownHook(Ljava/lang/Runnable;)V

这里有一篇文章介绍了具体的参数,但是呢,没有例子说明
sqoop mysql数据导入Hive中
这里还有一片文章介绍hcatalog的,不顾是导入oracle的
从hive导入到oracle(Hcatalog)

阅读更多
换一批

没有更多推荐了,返回首页