Spark
FLEMMINGS
奋斗的意义,不在于一定会让你取得多大的成就,只是让你在平凡的日子里,活得比原来的那个自己更优秀一点。
展开
-
Spark:Caused by: java.lang.ClassNotFoundException: scala.Product$class解决
今天使用Spark进行RDD操作,当我开始运行程序时,出现Caused by: java.lang.ClassNotFoundException: scala.Product$class,我最后检查了下,发现我项目里面的spark-core版本和整个项目的scala版本不一致所导致的。我用Maven构建的项目,pom.xml文件部分结构如下:由于我之前出错的原因是:spark-co...原创 2019-06-21 22:37:15 · 8901 阅读 · 2 评论 -
Hadoop,Spark错误:Could not locate executable null\bin\winutils.exe in the Hadoop binaries.
今天我用Spark进行RDD操作,遇到很多坑,都是之前犯过的错误,总是忘记,这里总结下。错误日志如下:我在windows中配置了hadoop,然后还需要一些工具hadoop.dll和winutils.exe文件,这里工具可以进行下载,相关的详细说明,我也写在其中。链接:https://pan.baidu.com/s/1ggCnoOLtLKWZFAcQop10PA提取码:udw...原创 2019-06-21 23:13:25 · 548 阅读 · 0 评论 -
SpringBoot结合WebSocket遇到的一些坑,@Autowired注入bean失败
我在使用websocket时,我想在@ServerEndpoint声明的websocket服务器中通过@autowired自动注入一个对象,可是失败了,不管怎么用构造注入还是怎么的,都失败了,后来在网上看了很多资料,确实可以通过Spring 上下文来获取该对象。这是在没改之前@ServerEndpoint中找到解决方案后(贴源码):@ServerEndpoint("/websoc...翻译 2019-07-07 11:16:09 · 2289 阅读 · 0 评论 -
Spark Streaming中序列化问题:org.apache.spark.SparkException: Task not serializable
利用saprk streaming实时分析数据时报的一些问题:打印日志如下:org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:403) at org.apache.sp...原创 2019-07-07 12:00:07 · 742 阅读 · 0 评论