简单记录CDH 做ETL的坑（会陆续增加）

CDH打包安装后，很多配置信息在 CM上设置了，但是sqoop这类工具一般还是命令行执行的，取的配置信息还是原生位置；

 

ERROR: JAVA_HOME is not set and could not be found.

注意： sqoop执行需要 hadoop & hbase 的环境脚本中指定JAVA_HOME 

 

flume 进行数据库的数据监听，需要打一个 flume-ng-sql-souce.jar 的插件，github搜这个名字，然后下载，自己用mvn打包。

注意，如果是cdh6.01之后的版本，需要手动修改依赖项，使用mvn中央仓库里的，个人使用的是：flume-1.8.0-cdh-6.1.1.jar

否则会报这个错。

java.lang.NoSuchMethodError: org.apache.flume.Context.getSubProperties(Ljava/lang/String;)Lcom/google/common/collect/ImmutableMap;
	at org.keedio.flume.source.HibernateHelper.<init>(HibernateHelper.java:49)
	at org.keedio.flume.source.SQLSource.configure(SQLSource.java:85)
	at org.apache.flume.conf.Configurables.configure(Configurables.java:41)
	at org.apache.flume.node.AbstractConfigurationProvider.loadSources(AbstractConfigurationProvider.java:32