- 博客(3)
- 收藏
- 关注
RSS订阅原创 spark streaming kafka wordcount
首先启动zookerperzkServer启动kafka.\bin\windows\kafka-server-start.bat .\config\server.properties 创建主题.\bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions
2017-12-26 14:14:40
259
原创 RDD计算过程
RDD的计算过程是在Driver端定义好的，之后分发至各计算节点，分为以下四步 1.在Driver节点上序列化代码 2.分发至各节点 3.在计算节点上反序列化 4.执行 如果是单机本地运行，那也是在独立的执行进程上运行，与Driver进程属于不同的进程，因此其变量作用域不能共享。
2017-12-20 10:24:46
1042
原创 spark 排序 取top3
top3.txt2 4 1 6 8 10 34 89import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Funct
2017-12-15 14:49:27
1156
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人