Spark相关
文章平均质量分 60
Hiwes
大数据行业从业者
展开
-
关于The serializable class XXX does not declare a static final serialVersionUID field of type long的警告
今天在写Java版本的Spark的一个练习的时候,遇到了一个警告:The serializable class does not declare a static final serialVersionUID field of type long。在之前没有遇到这类问题的情况下,进行了google,得到了解决方法。并发现了一段在javadoc中Serializable的描述:原创 2017-11-12 12:31:33 · 16431 阅读 · 1 评论 -
关于Unchecked cast from List<String> to Iterator<String>的警告
今天在使用Java版本的Spark的flatMap()方法的时候,遇到了一个警告:Unchecked cast from List<String> to Iterator<String>。出现场景为:JavaRDD<String> words = lines.flatMap(new FlatMapFunction<String, Str...原创 2017-11-13 11:21:22 · 4661 阅读 · 0 评论 -
关于Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法
java.lang.RuntimeException: java.lang.RuntimeException: java.lang.ClassNotFoundException: Class org.apache.spark.network.yarn.YarnShuffleService not found的解决办法原创 2017-11-15 11:24:06 · 4541 阅读 · 0 评论 -
关于spark-submit之后,报错NoClassDefFoundError
NoClassDefFoundError:org.apache.hadoop.hdfs.server.namenode.NameNode这个问题,困扰了我五天时间,之前使用Eclispe打包之后,在云服务器上面运行。首先报错java.lang.NoClassDefFoundError: org/apache/hadoop/hbase/HBaseConfiguration。随之采取的操作是:将$HB...原创 2018-05-07 17:38:26 · 2822 阅读 · 0 评论 -
关于后台启动spark-submit的操作
主机环境:Centos7.3 3台hadoop版本:hadoop-2.6.0-cdh5.7.0hbase版本:hbase-1.2.0-cdh5.7.0spark版本:spark-2.2.0-bin-2.6.0-cdh5.7.0zookeeper:zookeeper-3.4.5-cdh5.7.0最近在使用spark-submit提交SparkStreaming项目的时候,遇到一个问题,在提交任务之...原创 2018-05-25 15:31:38 · 3616 阅读 · 0 评论 -
spark-shell启动出现的Error creating transactional connection factory解决办法
版本信息:Spark:2.2.0-bin-2.6.0-cdh5.7.0Hive:1.1.0-cdh5.7.0MySQL:5.7.22问题:在使用Spark连接HIve,启动spark-shell的时候,报错:此时输入命令为:bin/spark-shell --master lcoal[2]此时已经将$HIVE_HOME/conf/hive-site.xml拷贝到$SPARK_HOME/conf下,...原创 2018-06-13 11:40:56 · 4591 阅读 · 0 评论