![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
这条gai最靓的华哥
热爱大数据的一名普普通通滴97年菜鸟猿~
展开
-
Spark-RDD介绍(详细)
spark rddRDD介绍1、RDD是什么?2、RDD的特性RDD的创建1、由集合创建RDD2、加载文件成RDD3、通过RDD的转换形成新的RDDRDD的转换算子1、RDD转换概述2、常用的RDD转换算子RDD的动作算子1、RDD动作概述2、常用的RDD动作算子RDD的依赖关系1、遗传2、依赖3、窄依赖4、宽依赖5、宽依赖和窄依赖的对比 RDD介绍 1、RDD是什么? RDD:即弹性分布式数据集,它具备像MapReduce等数据流模型的容错特性,能在并行计算中高效地进行数据共享进而提升计算性能。RDD中提原创 2020-07-06 11:40:56 · 684 阅读 · 0 评论 -
spark处理json格式日志数据
spark处理json格式的日志数据查看日志数据启动spark操作流程**op_2020-06-26.log****start_2020-06-26.log** 查看日志数据 op_2020-06-26.log 1593136280931|{"cm":{"ln":"-57.7","sv":"V2.0.3","os":"8.0.9","g":"RFI964M8@gmail.com","mid":"999","nw":"WIFI","l":"pt","vc":"13","hw":"640*1136","ar":原创 2020-06-30 09:48:12 · 380 阅读 · 0 评论