Sqoop将mysql数据导入到hive踩过的坑

Sqoop将mysql数据导入到hive踩过的坑

1、 关于INFO mapreduce.Job: Running job: job_1604631699755_0001卡住的情况：
Yarn-site.xml中也配置了内存与虚拟内存配置项，详细配置如下：

// yarn-site.xml配置详情
<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
     <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>填你自己的ip地址</value>
     </property>
     <property>  
        <name>yarn.nodemanager.resource.memory-mb</name>  
        <value>20480</value>  
        <discription>每个节点可用内存,单位MB</discription>
    </property>  
    <property>  
       <name>yarn.scheduler.minimum-allocation-mb</name>  
       <value>2048</value>  
       <discription>单个任务可申请最少内存，默认1024MB</discription>  
    </property>  
    <property>  
       <name>yarn.nodemanager.vmem-pmem-ratio</name>  
       <value>2.1</value>  
    </property>  
</configuration>

尽管这样，问题还是没有解决。后来在一篇文章下看到评论说：由于在mapred-site.xml中指定了yarn框架： 【 mapreduce.framework.name yarn 】而又没有配置yarn，所以导致无法调度任务，删去这里的框架指定(这里我就是删去了框架指定)，或者配置yarn即可解决；

2、 关于Terminal initialization failed; falling back to unsupported的解决方案(如下图示)：

删去mapred-site.xml中框架指定后继续运行可能会遇到上图情况，报错信息为： Found class jline.Terminal, but interface was expected.这是因为hive下的新版本jline的JAR包与hadoop下老版本jline的JAR包冲突(我的hadoop下没有老版本jline包，所以这里我直接将hive下的jline包直接复制到hadoop下)，将hive下的新版本jline的JAR包拷贝到hadoop下即可。

Hive下的jline包目录为：…hive/lib.
Hadoop下的jline包目录为：
…hadoop-2.7.7\share\hadoop\yarn\lib.

3、解决两个问题之后，成功将mysql数据导入到hive。