目录
简介
简明:意思是简单而明了。
PySpark:就是用Python这门语言工具去驾驭Spark这个大数据计算引擎。
原则和风格
就是简单直接、不拖泥带水,符合开发者审美和工作需要。
所以,不会面面俱到。因为,借鉴二八原则,工作中只需掌握20%的知识点(pyspark),就能解决80%的问题(大数据计算和分析场景)。
教程的目的
打破只有Scala和Java才能开发spark应用程序的思维定势。
Spark从诞生那天起就有人为Scala布道,说Spark是用Scala开发的,使用Scala能充分发挥底层优势,写出更高性能的程序。Java也可以,因为Java和Scala都运行在jvm上。
所以,上面这句话将好多不了解Scala和Java的朋友们挡在了Spark的门外!
还有好多想进入大数据行业的初学者,为了学习Spark,先去学习Scala和Java的语法,然后学了半天之后,有些人就沉迷于Scala和Java的语法糖中不能自拔,而忘记了自己目的是学习Spark。
还有好多算法工程师和数据分析师,可能大部分是Python高手,但如果重头去学习Scala和Java,可能大部分人会迷惑于Scala和Java的语法糖和奇特的简写,还没真正使用Spark,就已经退缩了。
其实,经过这么多年的发展,Spark也在进化,只有提供和支持更多的语言API,才能发展的更好。更何况大部分数据相关的研发人员都是Python高手和SQL高手,所以,SparkSQL和DataFrame的出现,为母语是Python的开发者带来了福音,Spark进化出了高级API和编程范式,大家不再用局限于RDD进行开发了,而是能更关注业务场景、分析策略。
所以,如果你只会Python,或者你只会SQL,你一样可以体验Spark计算引擎给你带来的快乐!
本教程的优势
『新』且『实用』
新:实践Spark最新的编程范式,带你体验更加友好、顺畅的高级API,降维打击!
本教程来源于生产实践,而非象牙塔,实用而简单明了。
初学者看了可以直接上手,老手看了如获至宝!
所有例子都可以直接ctrl+c 和ctrl+v,然后submit和run!
内容设置
专栏分两部分:第一部分基础篇、第二部分进阶篇。
第一部分基础篇:
目标:快速上手操作
PySpark简明教程 03 SparkSQL、DataFrame和SparkSession
PySpark简明教程 04 Spark加载csv文件parquet文件等数据源
聪明的同学可能看过“PySpark简明教程 02 pyspark实战 入门例子 ”,可能就已经豁然开朗了!
第二部分进阶篇:
目标:理解一些原理
Spark官方性能调优指南 1.6版本的优化指南,虽然版本过时,但是对于依然采用RDD编程范式的同学来说依然有借鉴意义。