Spark基础链接汇总

1. 厦门大学子雨大数据spark入门教程（scala版）
2. spark-submit 提交模式简介
3. Spark Streaming基础
4. Spark架构中的Driver和Worker
5. SparkStreaming对接Hbase和MySQL数据库
6. 知乎： spark中的RDD究竟怎么理解
7. spark使用parallelize方法创建RDD
8. spark任务的三种分布式运行模式（注意对粗细粒度的支持）
9. spark第三方包（包含各种外部数据源的支持）
10. SparkStreaming中窗口函数的使用
11. sparkSQL里的windows函数
12. RDD的五大特性(1)
　　RDD的五大特性(2)
13. Spark调优（数据序列化和内存调优）
14. Spark中广播变量
15. Spark RDD持久化、广播变量和累加器
16. Spark共享变量(广播变量、累加器)
17.RDD常用API
　　1. RDD基本转换
　　2. 键-值RDD转换
　　3. Action操作篇
18. Spark笔记
19. Spark中RDD操作
20. Spark RDD、DataFrame和DataSet的区别
21. spark sql createGlobalTempView和createOrReplaceTempView
22. Spark中job、stage、task的划分
23. Spark Streaming之foreachRDD

随笔：
　　１. sparkstreaming本地模式运行时，master URL 设置为local[2]及以上
　　When running a Spark Streaming program locally, do not use “local” or “local[1]” as the master URL. Either ofthese means that only one thread will be used for running tasks locally. If you are using a input DStream based on a receiver (e.g. sockets, Kafka, Flume, etc.), then the single thread will be used to run the receiver,leaving no thread for processing the received data.
　　另：spark中task是基于线程运行的
　　
　　２. spark 应用入口SparkContext（SparkConf）
　　　 spark streaming应用入口StreamingContext
　　　 spark sql应用入口SparkSession