spark
liujunzhong
这个作者很懒,什么都没留下…
展开
-
如何在Spark源码中运行SparkExamples的例子程序
如何在Spark源码中运行SparkExamples的例子程序 首先从github中将Spark的源码下载下来。 然后,对源码进行build mvn -DskipTests clean package build过程中会不断的下载必须的jar包,如果不能正确上网的话,会遇到各种的问题。 build完成后,运行例子程序时,出现无法找到spark-version-info.pr...原创 2020-04-29 11:56:13 · 951 阅读 · 0 评论 -
Spark实时计算DAU
使用Spark从kafka中读取到数据后,得到的是5秒一个批次的数据 val conf = new SparkConf().setAppName("dau_app").setMaster("local[*]") val ssc = new StreamingContext(conf,Seconds(5)) // 连接Kafka,读取日志数据,返回的结果是ConsumerRecord[St...原创 2020-03-04 17:24:36 · 728 阅读 · 0 评论 -
idea 运行 spark streaming 的word count报错java.lang.AbstractMethodError
问题描述: 在使用sparkStreaming在idea中进行实时word Count的启动过程中出现下面的错误 Exception in thread "main" java.lang.AbstractMethodError at org.apache.spark.util.ListenerBus$class.$init$(ListenerBus.scala:34) at org.apach...原创 2019-11-28 10:43:22 · 364 阅读 · 0 评论