![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Spark
文章平均质量分 53
Spark
塞上江南o
这个作者很懒,什么都没留下…
展开
-
spark 分区器
spark 分区器原创 2019-12-15 16:12:52 · 1150 阅读 · 1 评论 -
Spark 内核
Spark 内核原创 2020-02-23 20:54:17 · 401 阅读 · 1 评论 -
spark outline
spark outline原创 2022-09-08 17:39:36 · 623 阅读 · 1 评论 -
SparkSQL项目实战:TopN
SparkSQL项目实战:TopN原创 2020-12-01 09:15:17 · 1715 阅读 · 0 评论 -
Spark SQL 代码读取mysql&代码读取hive
Spark SQL 代码读取mysql&代码读取hive原创 2020-12-01 09:14:16 · 782 阅读 · 0 评论 -
Spark SQL API SQL & DSL风格 RDD DF DS 三者之间的转换 用户自定义函数UDF UDAF
Spark SQL API SQL & DSL风格 RDD DF DS 三者之间的转换 用户自定义函数UDF UDAF原创 2020-12-01 09:12:31 · 695 阅读 · 1 评论 -
SparkCore项目实战 需求一Top10热门品类 需求二Top10热门品类下每个品类的Top10活跃用户统计 需求三计算页面单跳转换率
SparkCore项目实战 需求一Top10热门品类 需求二Top10热门品类下每个品类的Top10活跃用户统计 需求三计算页面单跳转换率原创 2020-12-01 08:07:21 · 1334 阅读 · 1 评论 -
Spark 无状态化转换原语&有状态转化原语
Spark 无状态化转换原语&有状态转化原语原创 2020-12-01 08:04:28 · 599 阅读 · 0 评论 -
Spark DStream输出原语-foreachRDD&使用SparkSQL处理采集周期中的数据
Spark DStream输出原语-foreachRDD&使用SparkSQL处理采集周期中的数据原创 2020-12-01 08:01:17 · 626 阅读 · 0 评论 -
Spark Streaming项目实战 项目一每天每地区热门广告Top3 项目二最近12s广告点击量实时统计
Spark Streaming项目实战项目描述本实战项目实时分析处理用户对广告点击的行为数据。项目数据生成方式使用代码的方式持续的生成数据,然后写入到kafka中,然后从kafka消费数据,并对数据根据需求进行分析。项目数据格式时间戳, 地区, 城市, 用户id, 广告id1566035129449, 华南, 深圳, 101, 2项目准备步骤1: 开启集群启动 zookeeper 和 Kafka步骤2: 创建 Topic#查看kakfa都有哪些主题 bin/k原创 2020-12-01 07:58:13 · 733 阅读 · 0 评论 -
Spark DStream创建 通过队列 自定义数据源 Kafka数据源
Spark DStream创建 通过队列 自定义数据源 Kafka数据源原创 2020-12-01 08:05:28 · 510 阅读 · 1 评论 -
spark 广播变量
spark 广播变量原创 2020-11-30 15:33:07 · 2900 阅读 · 0 评论 -
spark 累加器
spark 累加器原创 2020-11-30 15:32:05 · 2280 阅读 · 0 评论 -
spark 读取json 读取MySQL 写入MySQL
IO读取jsonpackage com.xcu.bigdata.spark.core.pg02_ioimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}/** * @Package : com.xcu.bigdata.spark.core.pg02_io * @Author : * @Date : 2020 11月 星期二 * @Desc : 读取json(json格式的字符串要原创 2020-11-30 15:30:40 · 670 阅读 · 0 评论 -
RDD Cache缓存 CheckPoint检查点 缓存和检查点区别 检查点存储到HDFS集群
RDD Cache缓存 CheckPoint检查点 缓存和检查点区别 检查点存储到HDFS集群原创 2020-11-30 15:29:09 · 570 阅读 · 0 评论 -
spark 血缘 窄依赖 宽依赖 Spark job 划分 DAG有向无环图
spark 窄依赖 宽依赖 Spark job 划分 DAG有向无环图原创 2020-11-30 15:26:56 · 661 阅读 · 0 评论 -
spark 序列化 序列化方法和属性 Kryo序列化框架
spark 序列化 序列化方法和属性 Kryo序列化框架原创 2020-11-30 15:22:35 · 1000 阅读 · 0 评论 -
spark Action 行动算子
spark Action 行动算子原创 2020-11-30 15:20:44 · 621 阅读 · 0 评论 -
SparkCore 阶段练习:广告点击Top3
SparkCore 阶段练习:广告点击Top3原创 2020-11-30 15:19:28 · 854 阅读 · 2 评论 -
Spark join和cogroup
Spark join和cogroup原创 2020-11-30 15:17:40 · 473 阅读 · 0 评论 -
Spark mapValues
Spark mapValues原创 2020-11-30 15:16:12 · 1185 阅读 · 0 评论 -
Spark sortByKey
Spark sortByKey原创 2020-11-29 14:50:56 · 695 阅读 · 0 评论 -
Saprk reduceByKey、aggregateByKey、foldByKey、combineByKey 小结
Saprk core Transformation 转换算子RDD整体上分为Value类型、双Value类型和Key-Value类型Key-Value类型总结:reduceByKey、aggregateByKey、foldByKey、combineByKey原创 2020-11-29 14:47:28 · 590 阅读 · 0 评论 -
Spark combineByKey
Spark combineByKey原创 2020-11-29 14:44:40 · 329 阅读 · 0 评论 -
Spark foldByKey
Spark foldByKey原创 2020-11-29 14:43:10 · 296 阅读 · 0 评论 -
Spark aggregateByKey
Spark aggregateByKey原创 2020-11-29 14:42:06 · 206 阅读 · 0 评论 -
Spark groupByKey
Spark groupByKey原创 2020-11-29 14:41:09 · 414 阅读 · 0 评论 -
Spark reduceByKey
Spark reduceByKey原创 2020-11-29 14:39:59 · 287 阅读 · 0 评论 -
Spark partitionBy
Spark partitionBy原创 2020-11-29 14:38:12 · 684 阅读 · 0 评论 -
Spark union并集, subtract差集, intersection交集, zip拉链
Spark union并集, subtract差集, intersection交集, zip拉链原创 2020-11-29 14:35:55 · 436 阅读 · 0 评论 -
Spark sortBy
Spark sortBy原创 2020-11-29 14:33:59 · 316 阅读 · 0 评论 -
Spark coalesce和repartition
Spark coalesce和repartition原创 2020-11-28 15:40:53 · 936 阅读 · 0 评论 -
Spark distinct
Spark distinct原创 2020-11-28 15:39:45 · 504 阅读 · 0 评论 -
spark sample
spark sample原创 2020-11-28 15:38:41 · 541 阅读 · 0 评论 -
Spark filter
Spark filter原创 2020-11-28 15:37:34 · 309 阅读 · 0 评论 -
Spark groupBy
Spark groupBy原创 2020-11-28 15:36:21 · 1325 阅读 · 0 评论 -
Spark glom
Spark glom原创 2020-11-28 15:33:27 · 367 阅读 · 0 评论 -
Saprk flatMap
Saprk flatMap原创 2020-11-28 15:32:12 · 200 阅读 · 0 评论 -
Saprk mapPartitionsWithIndex
Saprk mapPartitionsWithIndex原创 2020-11-28 15:28:10 · 240 阅读 · 0 评论 -
Saprk map&mapPartitions
Saprk map&mapPartitions原创 2020-11-28 15:25:21 · 448 阅读 · 0 评论