Spark SQL简介及视频教程，高级Python工程师面试题

1、创建DataFrame对象

---

DataFrame就相当于数据库的一张表。它是个只读的表，不能在运算过程再往里加元素。

RDD.toDF(“列名”)

scala> val rdd = sc.parallelize(List(1,2,3,4,5,6))

rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at :21

scala> rdd.toDF(“id”)

res0: org.apache.spark.sql.DataFrame = [id: int]

scala> res0.show#默认只显示20条数据

±–+

| id|

±–+

| 1|

| 2|

| 3|

| 4|

| 5|

| 6|

±–+

scala> res0.printSchema #查看列的类型等属性

root

|-- id: integer (nullable = true)

创建多列DataFrame对象

DataFrame就相当于数据库的一张表。

scala> sc.parallelize(List( (1,“beijing”),(2,“shanghai”) ) )

res3: org.apache.spark.rdd.RDD[(Int, String)] = ParallelCollectionRDD[5] at parallelize at :22

scala> res3.toDF(“id”,“name”)

res4: org.apache.spark.sql.DataFrame = [id: int, name: string]

scala> res4.show

±–±-------+

| id| name|

±–±-------+

| 1| beijing|

| 2|shanghai|

±–±-------+

例如3列的

scala> sc.parallelize(List( (1,“beijing”,100780),(2,“shanghai”,560090),(3,“xi’an”,600329)))

res6: org.apache.spark.rdd.RDD[(Int, String, Int)] = ParallelCollectionRDD[10] at parallelize at :22

scala> res6.toDF(“id”,“name”,“postcode”)

res7: org.apache.spark.sql.DataFrame = [id: int, name: string, postcode: int]

scala> res7.show

±–±-------±-------+

| id| name|postcode|

±–±-------±-------+

| 1| beijing| 100780|

| 2|shanghai| 560090|

| 3| xi’an| 600329|

±–±-------±-------+

可以看出，需要构建几列，tuple就有几个内容。

2、由外部文件构造DataFrame对象

---

1.读取txt文件

txt文件不能直接转换成，先利用RDD转换为tuple。然后toDF()转换为DataFrame。

scala> val rdd = sc.textFile(“/root/words.txt”)

.map( x => (x,1) )

.reduceByKey( (x,y) => x+y )

rdd: org.apache.spark.rdd.RDD[(String, Int)] = ShuffledRDD[18] at reduceByKey at :21

scala> rdd.toDF(“word”,“count”)

res9: org.apache.spark.sql.DataFrame = [word: string, count: int]

scala> res9.show

±-----±----+

| word|count|

±-----±----+

| spark| 3|

| hive| 1|

|hadoop| 2|

| big| 2|

| scla| 1|

| data| 1|

±-----±----+

2.读取json文件

文件代码：

{“id”:1, “name”:“leo”, “age”:18}

{“id”:2, “name”:“jack”, “age”:19}

{“id”:3, “name”:“marry”, “age”:17}

实现：

import org.apache.spark.sql.SQLContext

scala>val sqc=new SQLContext(sc)

scala> val tb4=sqc.read.json(“/home/software/people.json”)

scala> tb4.show

3.读取parquet文件

格式如下：

1>Parquet数据格式

Parquet是一种列式存储格式，可以被多种查询引擎支持（Hive、Impala、Drill等），并且它是语言和平台无关的。

Parquet文件下载后是否可以直接读取和修改呢？

Parquet文件是以二进制方式存储的，是不可以直接读取和修改的。Parquet文件是自解析的，文件中包括该文件的数据和元数据。

列式存储和行式存储相比有哪些优势呢？

可以只读取需要的数据，降低IO数据量；

压缩编码可以降低磁盘存储空间。由于同一列的数据类型是一样的，可以使用更高效的压缩编码进一步节约存储空间。

参考链接：

http://blog.csdn.net/yu616568/article/details/51868447 讲解了parquet文件格式

http://www.infoq.com/cn/articles/in-depth-analysis-of-parquet-column-storage-format 讲解了parquet列式存储。

实现：

scala>val tb5=sqc.read.parquet(“/home/software/users.parquet”)

scala> tb5.show

4.jdbc读取

实现步骤：

1）将mysql 的驱动jar上传到spark的jars目录下

2）重启spark服务

3）进入spark客户端

4）执行代码，比如在Mysql数据库下，有一个test库，在test库下有一张表为tabx

执行代码：

import org.apache.spark.sql.SQLContext

scala> val sqc = new SQLContext(sc);

scala> val prop = new java.util.Properties

scala> prop.put(“user”,“root”)

scala> prop.put(“password”,“root”)

scala>val tabx=sqc.read.jdbc(“jdbc:mysql://hadoop01:3306/test”,“tabx”,prop)

scala> tabx.show

±–±—+

| id|name|

±–±—+

| 1| aaa|

| 2| bbb|

| 3| ccc|

| 1| ddd|

| 2| eee|

| 3| fff|

±–±—+

注：如果报权限不足，则进入mysql，执行：

grant all privileges on . to ‘root’@‘hadoop01’ identified by ‘root’ with grant option;

然后执行：

最后

Python崛起并且风靡，因为优点多、应用领域广、被大牛们认可。学习 Python 门槛很低，但它的晋级路线很多，通过它你能进入机器学习、数据挖掘、大数据，CS等更加高级的领域。Python可以做网络应用，可以做科学计算，数据分析，可以做网络爬虫，可以做机器学习、自然语言处理、可以写游戏、可以做桌面应用…Python可以做的很多，你需要学好基础，再选择明确的方向。这里给大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

👉Python所有方向的学习路线👈

Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

👉Python必备开发工具👈

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

👉Python全套学习视频👈

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

👉实战案例👈

学python就与学数学一样，是不能只看书不做题的，直接看步骤和答案会让人误以为自己全都掌握了，但是碰到生题的时候还是会一筹莫展。

因此在学习python的过程中一定要记得多动手写代码，教程只需要看一两遍即可。

👉大厂面试真题👈

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）

cn/img_convert/99461e47e58e503d2bc1dc6f4668534a.png)

小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数初中级Python工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Python爬虫全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

由于文件比较大，这里只是将部分目录截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频

如果你觉得这些内容对你有帮助，可以添加下面V无偿领取！（备注：python）
[外链图片转存中…(img-bhxS4cb6-1710984654922)]