本文详细探讨了Spark的环境搭建、基本概念、任务执行框架，包括SparkShell、SparkConf、RDD、Spark SQL、ML等。重点解析了RDD的IO与transform操作，以及Spark SQL中的聚合和join。此外，还涵盖了广播变量、性能优化、Spark UI、YARN以及异常处理等方面，提供了一整套Spark学习与实践的全面指南。
文章目录
环境搭建
在Hadoop集群的基础上搭建Spark
Spark记录-spark-env.sh配置
env里要写JAVA_HOME哦！
Spark和hadoop是怎么连起来的，就全靠SPARK_DIST_CLASSPATH这个参数连起来的，一旦这个参数确定了，并且hadoop配置正常，那么Spark默认读取hdfs上的文件，并且如果没有启动hdfs，spark-shell的一些操作也有可能报错，即使读的是本地的文件= =
如果没有指定该参数，那么默认读取本地文件
所以说如果仅仅学spark，那就老老实实的单个spark，不用配hadoop
export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native/，指定hadoop依赖包，可以少个warn
基本概念
从源码角度看Spark on yarn client & cluster模式的本质区别
SparkContext、SparkConf和SparkSession之间的联系及其初始化
sparkSession需要定义在sparkcontext之后
任务执行框架
spark task、job、partition之间的关系 宽窄依赖 spark任务调度
Spark中Task，Partition，RDD的关系
Spark中 sortByKey被划分到transformation中，却有action操作原因
Spark Shuffle 详解
理解spark中的job、stage、task
reduce分job，shuffle分task，task之间并行
Transformations
Task not serializable: java.io.NotSerializableException when calling function outside closure only on classes not objects
Serialization Exception on spark
spark-shell
spark-conf
spark.sql.shuffle.partitions 和 spark.default.parallelism 的区别
RDD
RDD
在RDD的设计中，数据只读，不可修改，如果需要修改数据，必须从父RDD转换到子RDD，
最低0.47元/天 解锁文章
1169
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
