Spark
文章平均质量分 85
给勒布朗上上对抗呀
热爱篮球,热衷于技术探索的好孩纸!
展开
-
SparkStreaming示例在集群中运行
SparkStreaming是依托于Spark的用于实时计算的工具,按照设置的时间间隔对数据流进行切分为一个一个的RDD,然后对这些时间段内产生的RDD进行批处理。如图: 主要的处理步骤如下: 1.定义好数据源。这里的数据源可以使本地文件,socket套接字链接,也可以是hdfs,kafka,Flume等产生的数据。 2.准备好流计算指令。这里的指令就是要对数据进行处原创 2016-07-28 13:23:21 · 6742 阅读 · 0 评论 -
Spark学习之WordCount
先上代码,再做分析 首先,定义一个Object为WordCount,主函数的第9-11行可以连着写成一句。这里主要的两个参数是master,AppName。前者指定运行的集群URL(本例中指定的是local,表示这个程序运行在单机单线程上而无需连接到集群),后者表示的是这个应用的名字,这个值可以帮助我们在集群管理器的用户界面中找到自己的应用。 第17行:val lines = sc原创 2016-07-27 16:11:34 · 257 阅读 · 0 评论