![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
Spark入门、SparkCore、SparkSQL等等
布莱恩特888
Hello Java!!!
展开
-
Spark Streaming项目实战之实时的分析处理用户对广告点击的行为数据
使用Spark Streaming实时的分析处理用户对广告点击的行为数据1. 准备数据1.1 数据生成方式1.2 数据格式1.3 模拟数据生成及从Kafka中读取数据2. 需求一:每天每地区热门广告Top32.1 需求分析2.2 代码实现3. 需求二:最近一小时广告点击量实时统计3.1 需求分析3.2 代码实现1. 准备数据1.1 数据生成方式1.2 数据格式1.3 模拟数据生成及从Kafka中读取数据1)步骤1:开启集群启动Zookeeper集群和Kafka集群(先启动Zookeeper,在启原创 2020-05-25 21:34:31 · 2459 阅读 · 0 评论 -
SparkStreaming之DStream的创建方式
SparkStreaming之DStream的创建方式1. RDD队列(了解)1.1用法及说明1.2 案例实操2. 自定义数据源2.1 用法及说明2.2 案例实操3. Kafka数据源(面试开发重点)3.1 版本选型3.2 Kafka 0-8 Receive模式3.3 Kafka 0-8 Direct模式3.4 Kafka 0-10 Direct模式1. RDD队列(了解)1.1用法及说明测试过程中,可以通过使用ssc.queueStream(queueOfRDDs)来创建DStream,每一个推送原创 2020-05-21 23:58:47 · 986 阅读 · 0 评论 -
SparkStreaming入门+WordCount案例
SparkStreaming入门+WordCount案例1. Spark Streaming概述1.1 离线和实时的概念1.2 批量和流式的概念1.3 Spark Streaming是什么1.4 Spark Streaming特点1.5 Spark Streaming架构2. DStream入门2.1 WordCount案例实操2.2 WordCount解析2.3 注意事项1. Spark Streaming概述1.1 离线和实时的概念数据处理的延迟1)离线计算就是在计算开始前已知所有输入数据,原创 2020-05-21 15:24:56 · 1136 阅读 · 1 评论 -
SparkCore之累加器的使用
SparkCore之累加器的使用1. 系统累加器1.1 累加器的说明1.2 使用步骤1.3 案例实操2. 自定义累加器2.1 说明2.2 自定义累加器的步骤2.3 案例实操1. 系统累加器1.1 累加器的说明累加器:分布式共享只写变量。(Task和Task之间不能读数据)累加器用来对信息进行聚合,通常在向Spark传递函数时,比如使用map()函数或者用filter()传条件时,可以使用驱动器程序中定义的变量,但是集群中运行的每个任务都会得到这些变量的一份新的副本,更新这些副本的值也不会影响驱动器原创 2020-05-21 12:07:18 · 581 阅读 · 0 评论 -
SparkCore之电商用户行为数据分析项目实战
SparkCore之项目实战1. 数据准备1)数据格式说明2)数据详细字段说明2. 需求一:Top10热门品类1)需求说明2)需求分析3)代码实现3. 需求二:Top10热门品类中每个品类的Top10活跃Session统计1)需求说明2)需求分析3)代码实现4. 需求三:页面单跳转化率统计1)需求说明2)需求分析3)代码实现1. 数据准备本项目的数据是采集电商网站的用户行为数据,主要包含用户的4种行为:搜索、点击、下单和支付。1)数据格式说明(1)数据采用 _ 分割字段;(2)每一行表示用户原创 2020-05-17 17:51:51 · 3132 阅读 · 1 评论 -
SparkCore之广播变量
SparkCore中的广播变量1.定义广播变量:分布式共享只读变量2.为什么使用广播变量在多个并行操作中(Executor)使用同一个变量,Spark默认会为每个任务(Task)分别发送,这样如果共享比较大的对象,会占用很大工作节点的内存。广播变量用来高效分发较大的对象。向所有工作节点发送一个较大的只读值,以供一个或多个Spark操作使用。比如,如果你的应用需要向所有节点发送一个较大的只读查询表,甚至是机器学习算法中的一个很大的特征向量,广播变量用起来都很顺手。3.广播变量的使用步骤原创 2020-05-17 11:41:52 · 188 阅读 · 0 评论