- 博客(2)
- 收藏
- 关注
RSS订阅原创 SparkStreaming示例在集群中运行
SparkStreaming是依托于Spark的用于实时计算的工具，按照设置的时间间隔对数据流进行切分为一个一个的RDD，然后对这些时间段内产生的RDD进行批处理。如图： 主要的处理步骤如下： 1.定义好数据源。这里的数据源可以使本地文件，socket套接字链接，也可以是hdfs，kafka，Flume等产生的数据。 2.准备好流计算指令。这里的指令就是要对数据进行处
2016-07-28 13:23:21
6687
原创 Spark学习之WordCount
先上代码，再做分析 首先，定义一个Object为WordCount，主函数的第9-11行可以连着写成一句。这里主要的两个参数是master，AppName。前者指定运行的集群URL（本例中指定的是local，表示这个程序运行在单机单线程上而无需连接到集群），后者表示的是这个应用的名字，这个值可以帮助我们在集群管理器的用户界面中找到自己的应用。 第17行：val lines = sc
2016-07-27 16:11:34
239
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人