sqoop、spark操作hive问题记录

  

1、环境的安装

安装hadoop、hive、spark、sqoop等，可以参照相关教程。

安装完成后，需要配置相关的环境变量：

export JAVA_HOME=/opt/jdk1.8.0_121
export HADOOP_HOME=/opt/hadoop-2.6.0-cdh5.6.1
export HIVE_HOME=/opt/hive-1.1.0-cdh5.6.1
export SQOOP_HOME=/opt/sqoop-1.4.6-cdh5.6.1
export SPARK_HOME=/opt/spark-1.5.0-cdh5.6.1
export SCALA_HOME=/opt/scala-2.10.4
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib:$HADOOP_COMMON_LIB_NATIVE_DIR"
export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/conf:$HIVE_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$SQOOP_HOME/bin:$SPARK_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/sbin

其中，比较重要的是需要添加：

    export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HIVE_HOME/conf:$HIVE_HOME/lib

这样，sqoop 通过import方式导入数据到hive表才能在hive命令行上看到。

2、hive元数据配置

可以参考：Hive metastore三种配置方式_reesun的博客-CSDN博客_hive.metastore.uris配置

为了后续使用方便，最后配置远端数据库方式，比如mysql。

配置完成远端数据库方式后需要启动metastore服务：

$hive --service metastore    或者 $hive --service metastore 2>&1 >> /var/hive.log &

3、spark操作hive配置

需要在$SPARK_HOME/conf下添加hive客户端配置文件（hive-site.xml）,指定hive的metastore地址：

<configuration>

    <property>
      <name>hive.metastore.client.connect.retry.delay</name>
      <value>5</value>
    </property>

    <property>
      <name>hive.metastore.client.socket.timeout</name>
      <value>1800</value>
    </property>

    <property>
      <name>hive.metastore.uris</name>
      <value>thrift://client:9083</value>
    </property>

    <property>
      <name>hive.server2.enable.doAs</name>
      <value>false</value>
    </property>

    <property>
      <name>hive.server2.thrift.port</name>
      <value>10016</value>
    </property>

    <property>
      <name>hive.server2.transport.mode</name>
      <value>binary</value>
    </property>

  </configuration>

其中最主要的就是配置hive.metastore.uris的值，指向启动了metastore服务的机器，这样spark就可以连接hive读写数据了。

另外，对于使用yarn方式执行spark job的情况，每个executor节点上可能还需要部署hive环境才能正常使用。