spark
颍天
路漫漫其修远兮吾将上下而求索
展开
-
waterdrop使用cdh的spark2提交任务
有的公司使用的是cdh集群,用waterdrop同步数据的时候会遇到spark版本太低,需要切换到spark2去。特此记录一下切换过程以及遇到的问题。更改waterdrop的bin目录下的start-waterdrop.sh文件,更改spark-submit为spark2-submit更改waterdrop的config目录下的waterdrop-env.sh文件,更改SPARK_HOME的配置。如果环境变量中配置了SPARK_HOME,首先检查环境变量中的SPARK_HOME问题:E原创 2021-06-03 12:23:01 · 515 阅读 · 0 评论 -
spark提交任务报错:java.lang.NoClassDefFoundError: org/apache/hadoop/fs/FSDataInputStream
官方解释:https://spark.apache.org/docs/latest/hadoop-provided.html从 Spark 1.4 版本开始,该项目打包了“Hadoop free”版本,让您可以更轻松地将单个 Spark 二进制文件连接到任何 Hadoop 版本。要使用这些构建,您需要修改 SPARK_DIST_CLASSPATH 以包含 Hadoop 的包 jar。最方便的方法是在 conf/spark-env.sh 中添加一个条目。现在以hadoop这个命令已经在环境变量中存在的情况原创 2021-06-03 11:16:25 · 1207 阅读 · 0 评论