先自我介绍一下,小编浙江大学毕业,去过华为、字节跳动等大厂,目前阿里P7
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
因此收集整理了一份《2024年最新大数据全套学习资料》,初衷也很简单,就是希望能够帮助到想自学提升又不知道该从何学起的朋友。
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
如果你需要这些资料,可以添加V获取:vip204888 (备注大数据)
正文
Spark+python 进行wordCount
from pyspark.sql import SparkSession
spark = SparkSession
.builder
.appName(“PythonWordCount”)
.master(“local[*]”)
.getOrCreate()
将文件转换为RDD对象
lines = spark.read.text(“input.txt”).rdd.map(lambda r: r[0])
counts = lines.flatMap(lambda x: x.split(’ '))
.map(lambda x: (x, 1))
.reduceByKey(lambda x, y: x + y)
output = counts.collect()
for (word, count) in output:
print(“%s: %i” % (word, count))
spark.stop()
![在这里插入图片描述](https://img-blog.csdnimg.cn/20210715214018460.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3hpYW55dTEyMA==,size_16,color_FFFFFF,t_70)
### PySpark中的DataFrame
• DataFrame类似于Python中的数据表,允许处理大量结
构化数据
• DataFrame优于RDD,同时包含RDD的功能
从集合中创建RDD
rdd = spark.sparkContext.parallelize([
(1001, “张飞”, 8341, “坦克”),
(1002, “关羽”, 7107, “战士”),
(1003, “刘备”, 6900, “战士”)
])
指定模式, StructField(name,dataType,nullable)
name: 该字段的名字,dataType:该字段的数据类型,
nullable: 指示该字段的值是否为空
from pyspark.sql.types import StructType, StructField,
LongType, StringType # 导入类型
schema = StructType([
StructField(“id”, LongType(), True),
StructField(“name”, StringType(), True),
StructField(“hp”, LongType(), True), #生命值
StructField(“role_main”, StringType(), True)
])
对RDD应用该模式并且创建DataFrame
heros = spark.createDataFrame(rdd, schema)
heros.show()
利用DataFrame创建一个临时视图
heros.registerTempTable(“HeroGames”)
查看DataFrame的行数
print(heros.count())
使用自动类型推断的方式创建dataframe
data = [(1001, “张飞”, 8341, “坦克”),
(1002, “关羽”, 7107, “战士”),
(1003, “刘备”, 6900, “战士”)]
df = spark.createDataFrame(data, schema=[‘id’, ‘name’,
‘hp’, ‘role_main’])
print(df) #只能显示出来是DataFrame的结果
df.show() #需要通过show将内容打印出来
print(df.count())
3
DataFrame[id: bigint, name: string, hp: bigint, role_main:
string]
| id|name| hp|role_main|
±—±------±----±------------+
|1001|张飞|8341| 坦克|
|1002|关羽|7107| 战士|
|1003|刘备|6900| 战士| ±—±------±----±------------+ 3
从CSV文件中读取
heros = spark.read.csv(“./heros.csv”, header=True,
inferSchema=True)
heros.show()
• 从MySQL中读取
df = spark.read.format(‘jdbc’).options(
url='jdbc:mysql://localhost:3306/wucai?useUnicode=true&
useJDBCCompliantTimezoneShift=true&useLegacyDatetim
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
需要这份系统化的资料的朋友,可以添加V获取:vip204888 (备注大数据)
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
7321711)]
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!