![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark蘑菇云行动
文章平均质量分 66
sun4lower
这个作者很懒,什么都没留下…
展开
-
第二课、Spark大型项目下的Spark Streaming本质剖析
1、Spark Streaming本质 Input Output Computation 例子: def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("SccOps").setMaster("local[2]") val ssc = new原创 2016-09-22 17:20:37 · 695 阅读 · 0 评论 -
第三课、Spark大型项目广告点击项目数据建模
1、项目分析 用户广告点击行为(通过JS或者本地代码发送点击行为到服务器)---》Server接受到数据并把数据放在Flume(也可以是其他)的监控目录之下---》Flume感知到数据后会把数据放到Kafka中---》Spark Streaming感知到数据的到来并进行处理---》然后把流处理的结果交给例如HBase、Redis、MaySQL等---》通过J2EE等技术把分析结果展示出来原创 2016-09-23 11:09:36 · 809 阅读 · 0 评论 -
Spark蘑菇云学习之路(项目实战)--1、项目概述
第一步:需求:数据的输入和数据的产出,大数据技术项目好比一台榨汁机,数据输入相当于例如苹果、柠檬等,然后通过榨汁机产出果汁; 第二步:数据量(影响技术的选型)、处理效率(离线、在线)、可靠性、可维护性、简洁性 第三步:数据建模(想象成一张一张的table,对整个项目的深刻理解) 第四步:架构设计(数据怎么进来,处理完之后怎么展示,最最重要的是处理流程的架构)原创 2016-09-20 21:36:46 · 1898 阅读 · 0 评论