Spark-submit 提交任务时与spark运行环境 jar 包冲突 在使用 spark-submit --master yarn 提交任务时，发生guava jar包冲突，spark-submit启动时会加载spark安装时自己的 classPath下的jar包，我使用的是 Apollo，guava-19.0.jar。 Spark ClassPath上的是guava-11.0.2.jar。因此会报 Apollo找不到方法。因此需要使用spark-sumbit --jars 将自己依赖的 guava-19.0.jar包 提交到spark 执行环境中。同时–jars .
hive-0.13.1-cdh5.3.6 on tez-0.4.1-incubating-src.tar.gz 编译采坑 编译tez的准备工作hive-0.13.1-cdh5.3.6hadoop-2.5.0-cdh5.3.6maven 3.5.6 (maven 版本在3.0以上都可以)protoc的版本是2.5.0 (可以参考 https://blog.csdn.net/sszzyzzy/article/details/89946075 )开始编译重点申明: 经过我的多...
flume Kafka Channel 无法传输数据到kafka 文章目录第一个问题接下来紧接着就遇到第二个问题了接下来就来了第三个问题。第一个问题我使用的flume 1.5 但是现在官网上flume版本是1.9的，所以我把source定义为了 TailDir Source, 启动之后发现没有kafka中没有对应的topic, 然后参看flume启动日志，发现1.5版本没有TailDir Source, 我就把flume的版本升级到了1.7，TailD...
关注
