大数据Spark
文章平均质量分 82
Hdmtc123
这个作者很懒,什么都没留下…
展开
-
Spark 之RDD算子的整理
RDD算子分类,大致可以分为两类,即: Transformation:转换算子,这类转换并不触发提交作业,完成作业中间过程处理。 Action:行动算子,这类算子会触发SparkContext提交Job作业。 一:Transformation:转换算子 map: 将原来RDD的每个数据项通过map中的用户自定义函数f映射转变为一个新的元素。源码中map算子相当于初始化一个RDD,新...转载 2018-12-21 00:49:51 · 174 阅读 · 0 评论 -
sparkstreaming项目
1、项目的流程:每一个IP对应的名称:2、需求实时统计每个品类被点击的次数(用饼状图展示):3、分析设计项目新建一个Maven项目:pom文件:<?xml version="1.0" encoding="UTF-8"?> <project xmlns="http://maven.apache.org/POM/4.0.0" ...转载 2019-03-17 15:57:52 · 514 阅读 · 0 评论