Sqoop抽数到Hive表异常分析

Question1
使用Sqoop抽取MySQL数据到Hive表时，抽取语句正常执行但数据没有写入Hive的表中，执行的Sqoop抽数脚本如下

export HADOOP_USER_NAME=hive
sqoop import \
--connect "jdbc:mysql://cm-server:3306/cm" \
--username cm \
--password password \
--table HOSTS \
--fields-terminated-by ',' \
--target-dir /user/hive/warehouse/hive_hosts \
--delete-target-dir \
--hive-import \
--hive-overwrite \
--hive-table hive_hosts \
--m 1 \
--input-null-string '\\N' \
--input-null-non-string '\\N'

执行上述脚本以后，命令正常执行但是，执行结果显示文件数和数据大小均为0，登录Hive查询生成的hive_hosts表，无结果数据
经过分析以后得到结论：
1.使用Sqoop抽数到Hive表，如果使用target-dir指定HDFS数据抽取目录时不能设置目标目录与hive表的仓库目录一致，否则会导致抽取的数据被Sqoop删除。
2.Sqoop抽数时如果不指定target-dir目标HDFS目录时，默认会将抽取的数据写入到/user/{username}/{DB_TABLENAME}目录下。

Question2
CDH集群启用了HDFS的HA
CM和CDH版本为5.14.2
使用Sqoop抽取MySQL数据到Hive表时，抽取语句正常执行在数据Load到Hive表时报“Operation category READ is not supported in state standby”
1.根据异常提示出现了两个HDFS访问路径，在集群HDFS已启用了HA，是不应该再出现使用启用HA之前NameNode节点的HDFS路径
2.检查Hive Metastore的库及表元数据的Location地址，使用如下命令在HIveMetastore服务所在节点执行
3.经检查发现Hive Metastore的Location地址指向还是之前NameNode地址，定位问题可能出现在这里，下面我们来更新HiveMetastore NameNode的地址指向。
4.更新Hive Metastore的Location地址有两种方式一种是在CM界面进行操作，一种是在命令行手动的进行更新
方式一：
登录Clouder Manager管理界面进入Hive服务，首先停止Hive服务，然后在Hive的服务的菜单列表中执行“更新Hive Metastore NameNode”

方式二：
在HiveMetastore服务所在节点执行如下命令更新Hive元数据Location地址

[root@cdh01 ~]# export HIVE_CONF_DIR="/var/run/cloudera-scm-agent/process/`ls -1 /var/run/cloudera-scm-agent/process | grep HIVEMETASTORE| sort -n| tail -1`"
[root@cdh01 ~]# HADOOP_CREDSTORE_PASSWORD=$(strings /proc/$(ps -ef|grep HiveMetaStore|grep java|awk '{print $2}')/environ|grep CRED|awk -F= '{print $2}') hive --auxpath /usr/share/java/ --config  $HIVE_CONF_DIR --service metatool -updateLocation hdfs://afterupdate        	hdfs://beforeupdate:8020
[root@cdh01 ~]# HADOOP_CREDSTORE_PASSWORD=$(strings /proc/$(ps -ef|grep HiveMetaStore|grep java|awk '{print $2}')/environ|grep CRED|awk -F= '{print $2}') hive --auxpath /usr/share/java/ --config  $HIVE_CONF_DIR --service metatool -listFSRoot

总结：
1.导致该异常的最终原因是由于在HDFS未启用HA之前创建的库及表使用的HDFS地址指向的为之前cdh01.fayson.com节点的NameNode地址。
2.吸取教训提醒大家在启用HDFS的HA后一定要及时更新Hive Metastore NameNode地址，否则会出现一些莫名其妙的问题。