山雨欲来风满楼

最近在数据中台的数据抽数优化工作，由于单表数据量太大（每天千万级别）导致sqoop抽数使用单实例报内存溢出以及抽数时间过长，决定采用sqoop的多实例并行抽数，参考了一些文档，但同时遇到了一些问题，趁有点时间把遇到问题的解决方法写下来供大家借鉴。并行化sqoop-常用命令及参数：https://www.yuque.com/shanyu-aqvcy/hkqgb7/vngsoxsqoop...

大家在window连接Hadoop集群时应该都遇到了相同的问题：（1）缺少winutils.exe回报如下错误：Could not locate executable null \bin\winutils.exe in the hadoop binaries（2）缺少hadoop.dll错误如下：Unable to load native-hadoop library fo

相信有很多人正在学习Hadoop，因此在学习的过程中很多人希望通过windows下的eclipse或者myeclipse去连接远程的集群，那大家可能就会想到用Hadoop提供的插件了，插件的具体安装过程我就不多说了，因为网上有各种各样的教程。但是该方法有个特定的缺陷，就是在运行的时候必须点击运行run on Hadoop，在一般情况下是没有任何问题的，但是在某些特定的工程里，大家就不可能去点run

首先看看Hadoop ssh 脚本    elif [ "$COMMAND" = "jar" ] ; then       CLASS=org.apache.hadoop.util.RunJar 任务递交。 WordCount 里面有一句话：    Java代码  System.exit(job.waitForCompletion(true)