![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark基础
文章平均质量分 81
spark基础
ly的学习笔记
这个作者很懒,什么都没留下…
展开
-
$09[SparkStreaming流式处理]
3.SparkStreaming特点 易用 编写代码 启动程序并通过netcat发送数据 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oYN7eQJX-1657550653007)(https://z3.ax1x.com/2021/08/31/haRa28.png#id=Tkitw&originHeight=507&originWidth=603&originalType=binary&ratio=1&status=done&style=none)] 2.自原创 2022-07-11 22:44:37 · 177 阅读 · 0 评论 -
&08[SparlSQL(编程_数据的加载和保存)]
2.DataFrame与DataSet的区别 3.自定义UDF函数 4.自定义UDAF函数(弱类型) MyAvgWeakType.scala UDAF.scala 5.自定义UDAF函数(强类型) MyAvgStronglyType.scala UDAF.scala 第二章.SparkSQL数据的加载与保存 1.读取文件 2.读取jdbc 3.读取mysql的分区数源码 4.保存数据 5.Spark整合Hive 一.内嵌Hive应用 直接进入spark-yarn,直接使原创 2022-07-11 22:43:58 · 169 阅读 · 0 评论 -
$07[SparkSQL(概述_编程)]
执行时间对比: 三者的共性 四.SparkSQL的优点 易整合: 无缝的整合了SQL查询和Spark编程原创 2022-07-11 22:43:07 · 81 阅读 · 0 评论 -
$06[SparkCore(分区器_数据读取与保存_累加器_广播变量)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7SMhMAX4-1657550536149)(https://z3.ax1x.com/2021/09/12/4pXe2t.png#id=jDAOU&originHeight=439&originWidth=913&originalType=binary&ratio=1&status=done&style=none)] 第三章.累加器 1.累加器介绍 2.WordCountAccumulator 自定义累加器 使用自定义原创 2022-07-11 22:42:33 · 88 阅读 · 0 评论 -
$05[SparkCore(Action_序列化_依赖关系_持久化)]
2.collect 3.count 4.first 5.take 6.takeOrdered 7.aggregate 8.fold 9.countByKey 10.save 11.foreach 11.foreachPartition 第二章.RDD序列化 1.闭包 2.Spark序列化 闭包使用未序列化的外部变量时 运行结果报错: [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aj4UUm5t-1657550355591)(https://z3原创 2022-07-11 22:39:37 · 291 阅读 · 0 评论 -
$04[SparkCore(transformation转换算子)下]
2.groupByKey 3.reduceByKey 图解: 图解 图解原创 2022-07-11 22:39:01 · 55 阅读 · 0 评论 -
$03[SparkCore(transformation转换算子)上]
2.mapPartitions 3.mapPartitionsWithIndex 4.flatMap 5.glom 6.groupBy 7.filter 8.sample 9.distinct 10.coalesce 11.repartition 12.sortBy 13.pipe原创 2022-07-10 15:27:18 · 116 阅读 · 1 评论 -
$02[SparkCore(RDD概述及创建)]
sparkcore(rdd概述及创建)原创 2022-07-10 15:26:44 · 124 阅读 · 0 评论 -
$01[Spark概述_运行模式_WordCount案例]
spark概述原创 2022-07-10 15:24:59 · 263 阅读 · 0 评论