王小禾

1.local 仅用于开发环境单机调试。 1.standalone方式 standalone是spark自带的资源调度框架。这种方式下需要配置Mater和Worker，并启动Master服务（如7077端口的）。该模式下，也可以client或cluster模式运行。 ...

1.RDD(ResilientDistributedDataset) • 五大特性: – A list of partitions – A function for computing each partition – A list of dependencies on other RDDs – Optionally, a Partitioner for key-value RDDs • shuffle的时候 – Optionally, a list of preferred locations to co

Datasets and DataFrames Starting Point SparkSession 代码演示1. Datasets and DataFrames a DataFrame is represented by a Dataset of Rows. DataFrame就是Dataset的行。 —spa

Shuffle 1 概念 2 Shuffle可能面临的问题 Hash Shuffle 1 HashShuffle的两大缺陷1. Shuffle1.1 概念 Shuffle是洗牌的意思。需要Shuffle的关键性原因是某种具有共同特征的数据需要最终汇聚到一个计算节点上进行计算。 1.2 Shuffle可能面临的问题运行Task的时候才会产生Shuffle（Shuffle已经融化在Spark的算

1. 从物理执行的角度透视Spark Job学习内容：1、再次思考pipeline 2、窄依赖物理执行内幕 3、宽依赖物理执行内幕 4、Job提交流程1.1、再次思考pipeline即使采用pipeline的方式，函数f对依赖的RDD中的数据集合的操作也会有两种方式 1)f(record), f作用于集合的每一条记录，每次只作用于一条记录 2)f(records),f一次性作用于集合点

1. RDD的依赖关系彻底解密RDD依赖关系：窄依赖、宽依赖 窄依赖是指每个父RDD的Partition最多被一个子RDD的一个Partition所使用，例如map, filter等都会产生窄依赖 宽依赖是指一个父RDD的Partition被多个子RDD的Partition所使用，例如groupByKey, reduceByKey等操作都会产生宽依赖总结: 如果父RDD的一个Partition被

从Spark架构中透视Job1、通过案例观察Spark架构 2、手动绘制Spark内部架构 3、Spark Job的逻辑视图解析 4、Spark Job的物理视图解析spark粗粒度Spark主从分布： Master Worker在配置文件spark-env.sh中有内存、core的配置 spark-shell默认情况下没有任何job Executors个数有5个，其中4

基础topN 原理 1 操作实践排序取前N项 说明：只要是改变列的个数数据，一般都是用map操作，map操作可以将原有的一行（作为一个key），映射成新的键值对，如file.map(line => (line.toInt,line))//原来的line作为value，原来的line进行变换后作为key 1. 基础topN原理：将读取的文件的每一行中，多增加一个字段作为key，map操作即可（jav

1.内容 基础排序算法实战 二次排序算法实战 更高级排序算法 排序算法内幕解密//修改一下log级别 scala> sc.setLogLevel("WARN")2.二次排序就是排序的时候考虑两个维度，维度1相同时，再排维度2例如数据源： SecondSort.txt2 3 4 1 3 2 4 3 9 7 2 13.实现Ordered（排序规则）,Serializable接口

1. 持久化action操作： 常用action：reduce, count, take, collect,countByKey, saveAsTextFile凡是actoin级别的操作都会触发sc.runjob( ) 一个spark应用程序可以有很多个job，hadoop中只有一个Spark所有的算法 都有persit。persit原因: Spark在默认情况下，数据放在内存，适合高速迭代，

RDD的操作 Transformation Action Controller Transformation API mapfunc filter flatMap groupByKey reduceByKey sortByKey join cogroup Action API reduce collect count taken saveAsTextFile countB

1. RDD的创建1.1 RDD创建方式RDD的3种基本的创建方式 使用程序中的集合创建RDD; 使用本地文件系统创建RDD； 使用HDS创建RDD 其他： 基于DB创建RDD 基于NoSQL,例如HBase 基于S3创建RDD 基于数据流创建RDD 不同方式的意义 通过集合创建RDD的实际意义：测试 使用本地文件系统创建RDD的作用：测试大量数据文件 使用HDFS创建RDD：生产环境最常用的RDD

1. Spark RDD 1.1 spark RDD简介         RDD是spark的基石。         RDD提供了通用的抽象。         现在Spark有5个子框架 SparkStreaming、SparkSQL、SparkML、GraphX、SparkR RDD弹性： 1. 自动的进行内存和磁盘数据存

1. Spark内核架构 1.1 spark runtime流程示意图

1. Spark集群结构图 2. Zookeeper配置 1.1 Word Count流程示意图

Spark 2.1.2 released 参考：http://spark.apache.org/examples.html 在上一篇spark（1）-入门spark之scala sbt wordcount实验的基础上，继续学习java版本wordcount实验。 1. Spark WordCount Examples by Java Wor

第一个java spark wordcount实验 spark官网 WordCount Example实验

1. 版本及配置说明 spark+hadoop环境，spark系列从这里开始吧！ 2. spark scala wordcount实验

1.引言 在线上交易早已成熟的今天，电商交易量究竟有多少？为了清晰地比较天猫月销量，本文爬取了天猫2017年底、2018年初主流分类商品大量数据，并做了简单的数据统计。整体流程如下： 说明：利用scrapy爬取天猫店铺数据约50万条，导入HDFS分布式存储，利用大数据组件spark操作算子分析及sparkSQL查询分析得出处理结果，最后，EChart前端组件将结果以图表形式展现出来。

本章待完善。 有问题待解答。 broadcast()共享全局变量，实验证明，无论是本地还是集群模式，全局变量也是可以的，为什么还要广播呢？ broadcast() 本测试提交脚本 cd $SPARK_HOME #top10 ./bin/spark-submit --class cn.whbing.spark.dataalgorithms.chap02.Top...

1 说明 本章知识 1 唯一key单分区和多分区测试 2 分区汇总 ：最终top10 2.1 汇总方案1：collect到集合 2.1 汇总方案2：reduce到集合 若返回要求为JavaPairRDD<K,V>，Tuple2<K,V>即可 1 说明 本实验测试spark实现top10。 思路：先对数据进行mapPartitions...

本章知识 1 map与flatMap对比 2 map与mapPartitions对比 3 实验 3.1 map 3.2 flatMap 3.3 mapPartitions 4 附录 本章知识 spark中的共同点为Iterable中的每一项均为RDD map 一RDD对一RDD flatMap 输出为可迭代，一行可迭代成多个数据，...

1 说明 本章知识 1.1 Chapter 01: Secondary Sorting With Spark 1.1.1 新建maven工程 1.1.2 编辑输入文件 1.1.3 二次排序 1.1.4 运行结果 1.1.5 小结 1 说明 本文档介绍Spark的二次排序解决方案。 本章知识 方法 返回类型/描述 textFile ...