Sqoop将mysql数据导入到hive踩过的坑
1、 关于INFO mapreduce.Job: Running job: job_1604631699755_0001卡住的情况:
Yarn-site.xml中也配置了内存与虚拟内存配置项,详细配置如下:
// yarn-site.xml配置详情
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>填你自己的ip地址</value>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>20480</value>
<discription>每个节点可用内存,单位MB</discription>
</property>
<property>
<name>yarn.scheduler.minimum-allocation-mb</name>
<value>2048</value>
<discription>单个任务可申请最少内存,默认1024MB</discription>
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>2.1</value>
</property>
</configuration>
尽管这样,问题还是没有解决。后来在一篇文章下看到评论说:由于在mapred-site.xml中指定了yarn框架: 【 mapreduce.framework.name yarn 】而又没有配置yarn,所以导致无法调度任务,删去这里的框架指定(这里我就是删去了框架指定),或者配置yarn即可解决;
2、 关于Terminal initialization failed; falling back to unsupported的解决方案(如下图示):
删去mapred-site.xml中框架指定后继续运行可能会遇到上图情况,报错信息为: Found class jline.Terminal, but interface was expected.这是因为hive下的新版本jline的JAR包与hadoop下老版本jline的JAR包冲突(我的hadoop下没有老版本jline包,所以这里我直接将hive下的jline包直接复制到hadoop下),将hive下的新版本jline的JAR包拷贝到hadoop下即可。
Hive下的jline包目录为:…hive/lib.
Hadoop下的jline包目录为:
…hadoop-2.7.7\share\hadoop\yarn\lib.
3、解决两个问题之后,成功将mysql数据导入到hive。