Linux安装Sqoop(CentOS7+Sqoop1.4.6+Hadoop2.8.0+Hive2.1.1)

1下载Sqoop

2上载和解压缩

3一系列配置

          3.1配置环境变量

          3.2sqoop配置文件修改

                    3.2.1 sqoop-env.sh文件

                             3.2.1.1新建

                            3.2.1.2编辑内容

          3.3将MySQL驱动包上载到Sqoop的lib下

4使用sqoop

          4.1使用help命令

          4.2使用Sqoop查看MySQL中的数据表

          4.3基于MySQL的表创建hive表

                     4.3.1创建

                     4.3.2测试

          4.4将MySQL中的数据导入到hive中

                     4.4.1执行导入命令

                     4.4.2执行hive命令测试上面的操作是否成功

5报错和解决

          5.1 java.net.NoRouteToHostException: No route to host(Host unreachable)

         5.2 ERROR tool.ImportTool: Error during import: Importjob failed!

 

关键字：Linux  CentOS  Sqoop  Hadoop  Hive  Java

版本号：CetOS7  Sqoop1.4.6   Hadoop2.8.0   Hive2.1.1

        注意：本文只讲Sqoop1.4.6的安装。和hive一样，sqoop只需要在hadoop的namenode上安装即可。本例安装sqoop的机器上已经安装了hdoop2.8.0和hive2.1.1，hadoop2.8.0的安装请参考博文：

       http://blog.csdn.net/pucao_cug/article/details/71698903

hive2.1.1的安装请参考博文：

      http://blog.csdn.net/pucao_cug/article/details/71773665

 

1下载Sqoop

         因为官方并不建议在生产环境中使用1.99.7版本，所以我们还是等2.0版本出来在用新的吧，现在依然使用1.4.6版本

打开官网：

http://sqoop.apache.org/

 

      如图：

 

点击上图的nearby  mirror

相当于是直接打开：http://www.apache.org/dyn/closer.lua/sqoop/

如图：

   

 

  我选择的是http://mirror.bit.edu.cn/apache/sqoop/ 

  如图：

    

点击1.4.6，相当于是直接打开地址：

http://mirror.bit.edu.cn/apache/sqoop/1.4.6/

如图：

    

2上载和解压缩

   

            在opt目录下新建一个名为sqoop的目录，将下载得到的文件sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar上载到该目录内

   如图：

     

 

  进入到该目录下，执行解压缩，也就是执行命令：

  cd    /opt/sqoop

  tar   -xvf    sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz

  命令执行完成后得到了/opt/sqoop/sqoop-1.4.6.bin__hadoop-2.0.4-alpha目录

3一系列配置

3.1 配置环境变量

         编辑/etc/profile文件，添加SQOOP_HOME变量，并且将$SQOOP_HOME/bin添加到PATH变量中，编辑方法很多，可以将profile文件下载到本地编辑，也可以直接用vim命令编辑。