大数据处理
coffejoy
这个作者很懒,什么都没留下…
展开
-
Spark(一)—— 大数据处理入门
一、Spark介绍组成Spark组成(BDAS):全称伯克利数据分析栈,通过大规模集成算法、机器、人之间展现大数据应用的一个平台。也是处理大数据、云计算、通信的技术解决方案。它的主要组件有:SparkCore将分布式数据抽象为弹性分布式数据集(RDD),实现了应用任务调度、RPC、序列化和压缩,并为运行在其上的上层组件提供API。SparkSQLSpark Sql 是S...原创 2019-04-27 01:56:44 · 463 阅读 · 0 评论 -
Spark(二)——标签计算、用户画像应用
数据86913510 {"reviewPics":[],"extInfoList":null,"expenseList":null,"reviewIndexes":[1,2],"scoreList":[{"score":5,"title":"环境","desc":""},{"score":5,"title":"服务","desc":""},{"score":5,"title":"口味","des...原创 2019-04-27 02:11:59 · 1231 阅读 · 0 评论 -
大数据处理(七)—— Lambda架构
批处理层实时处理层服务层参考视频Lambda架构原创 2019-05-02 02:50:16 · 346 阅读 · 0 评论