Python+大数据学习笔记(一)_inferschema=true

.map(lambda x: (x, 1))
.reduceByKey(lambda x, y: x + y)
output = counts.collect()
for (word, count) in output:
print(“%s: %i” % (word, count))
spark.stop()

![在这里插入图片描述](https://img-blog.csdnimg.cn/20210715214018460.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW55dTEyMA==,size_16,color_FFFFFF,t_70)


### PySpark中的DataFrame


• DataFrame类似于Python中的数据表，允许处理大量结  
 构化数据  
 • DataFrame优于RDD，同时包含RDD的功能

从集合中创建RDD

rdd = spark.sparkContext.parallelize([
(1001, “张飞”, 8341, “坦克”),
(1002, “关羽”, 7107, “战士”),
(1003, “刘备”, 6900, “战士”)
])

指定模式, StructField(name,dataType,nullable)

name: 该字段的名字，dataType：该字段的数据类型，

nullable: 指示该字段的值是否为空
from pyspark.sql.types import StructType, StructField,
LongType, StringType # 导入类型
schema = StructType([
StructField(“id”, LongType(), True),
StructField(“name”, StringType(), True),
StructField(“hp”, LongType(), True), #生命值
StructField(“role_main”, StringType(), True)
])

对RDD应用该模式并且创建DataFrame

heros = spark.createDataFrame(rdd, schema)
heros.show()

利用DataFrame创建一个临时视图

heros.registerTempTable(“HeroGames”)

查看DataFrame的行数

print(heros.count())

使用自动类型推断的方式创建dataframe

data = [(1001, “张飞”, 8341, “坦克”),
(1002, “关羽”, 7107, “战士”),
(1003, “刘备”, 6900, “战士”)]
df = spark.createDataFrame(data, schema=[‘id’, ‘name’,
‘hp’, ‘role_main’])
print(df) #只能显示出来是DataFrame的结果
df.show() #需要通过show将内容打印出来
print(df.count())
3
DataFrame[id: bigint, name: string, hp: bigint, role_main:
string]
| id|name| hp|role_main|
±—±------±----±------------+
|1001|张飞|8341| 坦克|
|1002|关羽|7107| 战士|
|1003|刘备|6900| 战士| ±—±------±----±------------+ 3

从CSV文件中读取
heros = spark.read.csv(“./heros.csv”, header=True,
inferSchema=True)
heros.show()
• 从MySQL中读取
df = spark.read.format(‘jdbc’).options(
url=‘jdbc:mysql://localhost:3306/wucai?useUnicode=true&
useJDBCCompliantTimezoneShift=true&useLegacyDatetim
eCode=false&serverTimezone=Asia/Shanghai’,
dbtable=‘heros’,
user=‘root’,
password=‘passw0rdcc4’
).load()
print(‘连接JDBC，调用Heros数据表’)
df.show()

![img](https://img-blog.csdnimg.cn/img_convert/ea9dc7c14dc8f516adce29fa53974036.png)
![img](https://img-blog.csdnimg.cn/img_convert/2ad3c2f600042e431f7638fc34225d3f.png)

**网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

**[需要这份系统化资料的朋友，可以戳这里获取](https://bbs.csdn.net/topics/618545628)**


**一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**