Python黑马程序员（Spark实战）笔记

最新推荐文章于 2024-04-21 08:55:47 发布
最新推荐文章于 2024-04-21 08:55:47 发布
阅读量2k 收藏 14
点赞数 3
分类专栏： pyspark 文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63272315/article/details/130093730
版权

1、基础准备

 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple pyspark

# 导包
from pyspark import SparkConf,SparkContext
#创建SparkConf类对象
conf=SparkConf().setMaster("local[*]").setAppName("test_spark_app")
#基于SparkXConf类对象创建SparkContext对象
sc=SparkContext(conf=conf)
#打印PySpark的运行版本
print(sc.version)
#停止SparkContext对象的运行(停止pySpark程序）
sc.stop()

 2、数据输入

from pyspark import SparkConf,SparkContext

conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)

# 通过parallelize方法将Python对象加载到Spark内，成为RDD对象
rdd1=sc.parallelize([1,2,3,4,5])
rdd2=sc.parallelize((1,2,3,4,5))
rdd3=sc.parallelize("abcdefg")
rdd4=sc.parallelize({1,2,3,4,5})
rdd5=sc.parallelize({"key1":"value1","key2":"value2"})

#如果要查看RDD里面有什么内容,需要用collect()方法
print(rdd1.collect())
print(rdd2.collect())
print(rdd3.collect())
print(rdd4.collect())
print(rdd5.collect())


sc.stop()

注意：字符串返回的是['a','b','c','d','e','f','g']   字典返回的是['key1','key2']  

读取hello.txt的内容：

from pyspark import SparkConf,SparkContext

conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)

# # 通过parallelize方法将Python对象加载到Spark内，成为RDD对象
# rdd1=sc.parallelize([1,2,3,4,5])
# rdd2=sc.parallelize((1,2,3,4,5))
# rdd3=sc.parallelize("abcdefg")
# rdd4=sc.parallelize({1,2,3,4,5})
# rdd5=sc.parallelize({"key1":"value1","key2":"value2"})
#
# #如果要查看RDD里面有什么内容,需要用collect()方法
# print(rdd1.collect())
# print(rdd2.collect())
# print(rdd3.collect())
# print(rdd4.collect())
# print(rdd5.collect())


#用textFile方法，读取文件数据加载到Spark内，成为RDD对象
rdd=sc.textFile("C:/Users/GYH/Desktop/data/pyspark_heima/hello.txt")
print(rdd.collect())
sc.stop()

3、数据计算-map方法

from pyspark import SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置

conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)

# 准备一个RDD
rdd=sc.parallelize([1,2,3,4,5])

#通过map方法将全部数据都乘以10
def func(data):
    return data*10

rdd2=rdd.map(func) #(T) -> U
                   #(T) -> T
print(rdd2.collect())
#链式调用

注意：

import os
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置

如果没有添加上行代码程序会报出错误！

Caused by: org.apache.spark.SparkException: Python worker failed to connect back.

 解释器的位置: (是在电脑中安装的位置）

代码中:

 def func(data):
     return data*10

可以替换成lambda

rdd2=rdd.map(lambda x:x*10)

完整代码：

from pyspark import SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置

conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)

# 准备一个RDD
rdd=sc.parallelize([1,2,3,4,5])

#通过map方法将全部数据都乘以10
# def func(data):
#     return data*10

rdd2=rdd.map(lambda x:x*10) #(T) -> U
                            #(T) -> T
print(rdd2.collect())
#链式调用

 链式调用 可以直接使用.的方式

rdd2=rdd.map(lambda x:x*10).map(lambda x:x+5)

完整代码：

from pyspark import SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置

conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)

# 准备一个RDD
rdd=sc.parallelize([1,2,3,4,5])

#通过map方法将全部数据都乘以10
# def func(data):
#     return data*10

rdd2=rdd.map(lambda x:x*10).map(lambda x:x+5) #(T) -> U
                            #(T) -> T
print(rdd2.collect())
#链式调用

5、flatMap方法

from pyspark import SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置

conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)

# 准备一个RDD
rdd=sc.parallelize(["itheima itcast 666","itheima itheima it cast","python itheima"])
#需求,将RDD数据里面的一个个单词提取出来
rdd2=rdd.map(lambda x:x.split(" "))
rdd1=rdd.flatMap(lambda x:x.split(" "))
print(rdd1.collect())
print(rdd2.collect())

flatMap算子

计算逻辑和map一样

可以比map多出，接触一层嵌套的功能

6、 reduceByKey算子

reduceBeKey中的聚合逻辑是：

[1,2,3,4,5] 然后聚合函数：lambda a,b:a+b

a  b

1+2=3

    3+3=6

      6+4=10

          10+5=15

from pyspark import SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置

conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)

#准备一个RDD
rdd =sc.parallelize([('男',99),('男',88),('女',99),('女',66)])
# 求男生和女生两组的成绩之和
rdd2=rdd.reduceByKey(lambda a,b:a+b)
print(rdd2.collect())

出现： UserWarning: Please install psutil to have better support with spilling  

在cmd中 pip install psutil 即可

 

 7、数据计算练习案例

要求：

# 完成单词计数统计
# 1.构建执行环境入口对象
# 2.读取数据文件
# 3.取出全部单词
# 4.将所有单词都转换为二元元组，单词为Key value 设置为1
# 5.分组并求和
# 6.打印输出
# 完成单词计数统计
# 1.构建执行环境入口对象
from pyspark import SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)
#2.读取数据文件
rdd=sc.textFile("C:/Users/GYH\Desktop/data/pyspark_heima/hello.txt")
#3.取出全部单词
word_rdd=rdd.flatMap(lambda x:x.split(" "))
# print(word_rdd.collect())

#4.将所有单词都转换为二元元组，单词为Key value 设置为1
word_with_one_rdd=word_rdd.map(lambda word:(word,1))
# print(word_with_one_rdd.collect())
#5.分组并求和
result=word_with_one_rdd.reduceByKey(lambda a,b:a+b)
#6打印输出
print(result.collect())

8、filter方法 

from pyspark import SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)

#准备一个RDD
rdd=sc.parallelize([1,2,3,4,5])
# 对RDD的数据进行过滤
rdd2=rdd.filter(lambda num:num%2==0)

print(rdd2.collect())

9、distinct方法

from pyspark import SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)

#准备一个RDD
rdd=sc.parallelize([1,1,3,3,5,5,7,8,8,9,10])
#对RDD的数据进行去重
rdd2=rdd.distinct()
print(rdd2.collect())

 

10、sortBy方法

rdd.sortBy(func,ascending=Flase,numPartition=1)

#func(T)-->U:告知按照rdd中的哪一个数据进行排序，比如lambda x:x[1]表示按照rdd中的第二列元素进行排序

#ascending True升序 Flase降序

#numPartitions:用多少分区排序

from pyspark import SparkConf,SparkContext
import os
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)

#1.读取文件
rdd=sc.textFile("C:/Users/GYH/Desktop/data/pyspark_heima/hello.txt")
#2.取出全部单词
word_rdd=rdd.flatMap(lambda x:x.split(" "))
#3.将所有单词都转换为二元元组,单词为Key,value设置为1
word_with_one_rdd=word_rdd.map(lambda word:(word,1))
#4.分组并求和
ressult_rdd=word_with_one_rdd.reduceByKey(lambda a,b:a+b)
print(ressult_rdd.collect())
#5.对结果进行排序
final_rdd=ressult_rdd.sortBy(lambda x:x[1],ascending=False,numPartitions=1)
print(final_rdd.collect())

11、数据计算-练习案例2

from pyspark import SparkConf,SparkContext
import os
import json
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)

# TODO 需求1 城市销售额排名
# 1.1 读取文件到RDD
file_rdd=sc.textFile("C:/Users/GYH/Desktop/data/pyspark_heima/orders.txt")
# 1.2 取出一个JSON字符串
json_str_rdd=file_rdd.flatMap(lambda x:x.split("|"))
# print(json_str_rdd)
# 1.3 将一个个JSON字符串转换为字典
dict_rdd=json_str_rdd.map(lambda x:json.loads(x))
print(dict_rdd.collect())
# 1.4 取出城市和销售数据
# (城市，销售额）
city_with_money_rdd=dict_rdd.map(lambda x:(x['areaName'],int(x['money'])))
# 1.5 按城市分组按销售聚合
city_result_edd=city_with_money_rdd.reduceByKey(lambda a,b:a+b)
# 1.6 按销售额聚合结果进行排序
result1_rdd=city_result_edd.sortBy(lambda x:x[1],ascending=False,numPartitions=1)
print(f"需求1的结果是{result1_rdd.collect()}")

# TODO 需求2：取出城市有哪些商品类别在销售
# 2.1 取出全部的商品类别
category_rdd=dict_rdd.map(lambda x:x['category']).distinct()
print(f"需求2的结果{category_rdd.collect()}")
#2.2 对全部商品类别进行去重
# TODO 需求3
# 3.1过滤北京市的数据
beijing_data_rdd=dict_rdd.filter(lambda x:x['areaName']=='北京')
# 3.2 取出全部商品类别
result3_rdd=beijing_data_rdd.map(lambda x:x['category']).distinct()
print(f"需求3的结果：{result3_rdd.collect()}")
# 3.3 进行商品类别去重

#12、输出为Python对象

数据输出的方法

collect 将RDD内容转换为list

reduce 对RDD内容进行自定义聚合

take 取出RDD的前N个元素组成list

count 统计RDD元素个数

from pyspark import SparkConf,SparkContext
import os
import json
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
sc=SparkContext(conf=conf)

#准备RDD
rdd=sc.parallelize([1,2,3,4,5])
# collect算子，输出RDD为list的对象
rdd_list:list=rdd.collect()
print(rdd_list)
print(type(rdd_list))
# reduce 算子，对RDD进行两两聚合
num=rdd.reduce(lambda a,b:a+b)
print(num)
# take算子，取出RDD前N个元素，组成list返回
take_list=rdd.take(3)
print(take_list)
# count,统计rdd内有多少条数据，返回值为数字
number_count=rdd.count()
print(f"rdd内有{number_count}个元素")
sc.stop()

 #13、数据输出到文件中

1、下载hadoop3.3.0压缩包

      百度网盘：链接：https://pan.baidu.com/s/1y4a2w4D8zCzYKEDY9aPWtw 
                  提取码：1234

      hadoop3.3.0解压到任意位置即可

2、将haoop3.3.0的bin文件夹下的 hadoop.dll  复制到C:\Windows\System32中

在pycharm中添加如下代码

os.environ['HADOOP_HOME']="E:/spark/hadoop-3.3.0"

 运行后成功写入:

 14、综合案例

读取文件转换成RDD,并完成：

打印输出：热门搜索时间段（小时精度)Top3

打印输出：统计黑马程序员关键字在哪个时段被搜索最多

将数据转换为JSON格式，写出文件

1、热门搜索时间段（小时精度)Top3

from pyspark import SparkConf,SparkContext
import os
import json
os.environ['PYSPARK_PYTHON']="C:/Users/GYH/AppData/Local/Programs/Python/Python310/python.exe" #python解释器的位置
os.environ['HADOOP_HOME']="E:/spark/hadoop-3.3.0"
conf=SparkConf().setMaster("local[*]").setAppName("test_spark")
conf.set("spark.default.parallelism","1")
sc=SparkContext(conf=conf)

# 读取文件转换成RDD
# TODO 需求1：热门城市时间段TOP3(小时精度)
file_rdd=sc.textFile("C:/Users/GYH/Desktop/data/pyspark_heima/SogouQ.txt")
#1.1取出全部时间并转换为小时
#1.2转换为(小时,1)的二元元组
#1.3Key分组聚合Value
#1.4排序（降序）
#1.5取前3
result1=file_rdd.map(lambda x:x.split("\t")).\
    map(lambda x:x[0][:2]).\
    map(lambda x:(x,1)).\
    reduceByKey(lambda a,b:a+b).\
    sortBy(lambda x:x[1],ascending=False,numPartitions=1).\
    take(3)
print(f"需求1的结果：{result1}")

 # TODO 需求2：热门搜索词TOP3

# TODO 需求2：热门搜索词TOP3
# 2.1 取出全部搜索词
# 2.2 (词,1) 二元元组
# 2.3 分组聚合
# 2.4 排序
# 2.5 TOP3
file_rdd=sc.textFile("C:/Users/GYH/Desktop/data/pyspark_heima/SogouQ.txt")
result2=file_rdd.map(lambda x:x.split('\t')).\
    map(lambda x:x[2]).\
    map(lambda x:(x,1)).\
    reduceByKey(lambda a,b:a+b).\
    sortBy(lambda x:x[1],ascending=False,numPartitions=1).\
    take(3)
print(f"需求2的结果：{result2}")

 # TODO 需求3:统计黑马程序员关键字在什么时段被搜索的最多

# TODO 需求3:统计黑马程序员关键字在什么时段被搜索的最多
# 3.1 过滤内容 只能保留黑马程序员关键字
# 3.2 转换为(小时,1)的二元元组
# 3.3 Key分组聚合Value
# 3.4 排序（降序）
# 3.5 取前1
file_rdd=sc.textFile("C:/Users/GYH/Desktop/data/pyspark_heima/SogouQ.txt")
result3=file_rdd.map(lambda x:x.split("\t")).\
    filter(lambda x:x[2]=='黑马程序员').\
    map(lambda x:(x[0][:2],1)).\
    reduceByKey(lambda a,b:a+b).\
    sortBy(lambda x:x[1],ascending=False,numPartitions=1).\
    take(1)
print(f"需求3的结果{result3}")

 # TODO 需求4：将数据转换为JSON格式,写到文件中

# TODO 需求4：将数据转换为JSON格式,写到文件中
file_rdd=sc.textFile("C:/Users/GYH/Desktop/data/pyspark_heima/SogouQ.txt")
# 4.1 转换为JSON格式的RDD
# 4.2 写出为文件
file_rdd.map(lambda x:x.split("\t")).\
    map(lambda x:{"time":x[0],"user_id":x[1],"key_word":x[2],"rank1":x[3],"rank2":x[4],"url":x[5]}).\
    saveAsTextFile("C:/Users/GYH/Desktop/data/pyspark_heima/output1_JSON")

打开output1_JSON文件夹下的part_00000 

 成功写入：

 

核動力牛馬
关注
  • 3
    点赞
  • 踩
  • 14
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
大数据Spark企业级实战与Hadoop实战&PDF和PPT
Ghost1Xiao的博客
07-23 182
今天给大家分享的是《大数据Spark企业级实战》与《Hadoop实战》《大数据处理系统·Hadoop源代码情景分析》《50个大厂大数据算法教程》等销量排行前10名的大数据技术书籍（文末领取PDF版）。这些书籍具有以下几个优点：易读、实践性强，对解决工作中遇到的业务问题具有一定启发性。 本书完全从企业处理大数据业务场景的角度出发，完全基于实战代码来组织内容，从零起步，完全无痛地掌握Spark大数据处理实战技术。 本书能满足读者全面学习最新的Hadoop技术及其相关（Hive、Hbase等）
七、python-PySpark篇(黑马程序猿-python学习记录)
星银色飞行船的博客
01-24 3290
B站黑马程序员的python视频的学习记录
[学习笔记]黑马程序员Spark全套视频教程，4天spark3.2快速入门到精通，基于Python语言的spark教程
zhangyifeng_1995的博客
03-04 5477
Spark解决什么问题？ 海量数据的计算，可以进行离线批处理、实时流计算、机器学习计算、图计算、通过SQL完成结构化数据的处理。
Python学习之PySpark案例实战
最新发布
keyoukewude的博客
04-21 784
RDD,自动按照key分组,然后根据你提供的聚合逻辑,完成****组内数据[value)****的聚合操作.注意: reduceByKey中接收的函数 只负责聚合,不理会分组，分组是自动 by key来分组的。****数据计算的方法,返回值依旧是RDD(RDD迭代计算)后续对数据进行各类计算，****功能:将RDD各个分区内的数据,统一收集到Driver中,形成一个List对象。(img-RuBR7tTj-1713660936324)]PySpark的数据计算，都是基于RDD对象来进行的那么如何进行呢?
spark运行报错Please install psutil to have better support with spilling
Panda4u的博客
09-24 3280
记录一下错误，在windows上面运行spark报错 words = sc.parallelize(['scala','java','hadoop','spark','scala','hadoop','spark','scala']) words.distinct().count() 最然能够运行出结果，但是会报错 Please install psutil to have better support with spilling 解决办法： 直接在c...
【Python】PySpark 数据计算 ③ ( RDD#reduceByKey 函数概念 | RDD#reduceByKey 方法工作流程 | RDD#reduceByKey 语法 | 代码示例 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
08-02 7125
一、RDD#reduceByKey 方法 1、RDD#reduceByKey 方法概念 2、RDD#reduceByKey 方法工作流程 3、RDD#reduceByKey 函数语法 二、代码示例 - RDD#reduceByKey 方法 1、代码示例 2、执行结果 三、代码示例 - 使用 RDD#reduceByKey 统计文件内容 1、需求分析 2、代码示例
B站黑马程序员Python教程学习笔记.zip
02-21
在B站黑马程序员的Python教程中，你将深入理解Python的基础概念，包括： 1. **变量与数据类型**：Python支持多种数据类型，如整型（int）、浮点型（float）、字符串（str）和布尔型（bool）。此外，还有列表（list...
传智播客&黑马程序员PYTHON教程课件汇总
01-10
01_Python基础 02_linux基础 03_python高级 04_linux系统编程 05_Web服务器案例课件 06_网络编程 07_正则表达式课件 08_数据结构和算法 09_MySQL 10_mongo 11_redis 12_前端 13_django 14_爬虫 15_tornado 16_shell ...
python黑马程序员名片管理系统
11-09
在本项目中，"python黑马程序员名片管理系统"是一个基于Python编程语言实现的系统，用于管理和存储个人或组织的名片信息。这个系统展示了Python基础编程以及数据管理的基本概念，非常适合初学者学习。通过"第六章"的...
黑马python机器学习入门笔记
08-21
《黑马Python机器学习入门笔记》是一份针对初学者编写的指南，旨在帮助读者掌握Python语言在机器学习领域的基本应用。这份笔记将带你踏入这个充满无限可能的领域，通过Python这门易学且强大的编程语言，开启你的数据...
Python3：Python+spark编程实战
01-27
本文来自csdn，本文简单介绍了Python+spark的配置运行及实例介绍，希望对您的学习有所启迪。0.1配置可参考：0.2有关spark说明：spark不兼容Python3.6安装注意版本可下载：anaconda4.21.1数据student.txt1.2代码1.3...
python大作业代码_大二期末python大作业有效代码不低于5000行是什么水平？
weixin_39863616的博客
11-21 452
6月30日更新鉴于题主说老师已经收回对行数的要求，就请大家看过则罢，不要再点赞了（还有收藏的是什么鬼？）。本文说的不过是一些投机取巧的伎俩，不值取，不可取。~~~以下是原文~~~：一个熟练工程序员，每天有效代码大概50行（很多人不信，用项目最终代码量除以人天就知道了），月薪大概12000元。外包出去得上万吧。我们这边刚开一个报价20万的项目，预计有效代码也就5000行。如果题主真的没有什么好办法了...
Spark综合大作业：RDD编程初级实践
热门推荐
weixin_48338701的博客
06-09 1万+
Spark综合大作业：RDD编程初级实践 实验配置：操作系统：Ubuntu16.04 | 环境：Spark版本：2.4.0 | 软件：Python版本：3.4.3。 文章目录一、实验目的二、实验平台三、实验内容和要求1、pyspark交互式编程2、编写独立应用程序实现数据去重3、编写独立应用程序实现求平均值问题四、经验总结五、参考文献 一、实验目的 （1）熟悉Spark的RDD基本操作及键值对操作； （2）熟悉使用RDD编程解决实际具体问题的方法。 二、实验平台 本次大作业的实验是操作系统：Ubuntu1
大数据处理技术Spark
Blue_Sky_rain的博客
05-29 1303
一个大作业的全过程：伪分布式hadoop+pandas预处理数据+hdfs保存数据+spark从hdfs读取数据+ sparksql处理+sparkmllib处理+matplotlib可视化处理数据
spark期末大作业RDD编程初级实践
Only-CYY的博客
06-13 7220
1、需求描述 本次实验需要：系统：linux unbuntu14.04，处理器：至少需要两个处器，一个内核，内存：至少4G，硬盘空间：大小需要20GB。Hadoop：2.7.1以上版本，JDK：1.8以上版本，Spark：2.4.0以上版本，Python:3.6以上版本。 1、根据data.txt的数据分析某大学计算机系的成绩 （1）该系总共有多少学生； （2）该系共开设了多少门课程； （3）Tom同学的总成绩平均分是多少； （4）求每名同学的选修的课程门数； （5）该系DataBase课程共
【黑马程序员】PySpark学习
double_happiness的博客
03-18 1070
功能：map算子是将RDD的数据一条条处理（处理的逻辑基于map算子中接收的处理函数），返回新的RDD。PySpark的数据计算，都是基于RDD对象来进行的，RDD对象内置丰富的：成员方法（算子）功能：针对KV型RDD，自动按照key分组，然后根据你提供的聚合逻辑，完成数据的聚合操作。功能：对rdd执行map操作，然后进行解除嵌套操作。通过textFile()方法将文件转成RDD对象。
Pyspark学习笔记
qq_45151545的博客
10-15 79
Pyspark学习笔记——Transformation转化算子
Spark类库----PySpark（本地开发环境配置&&远程SSH解释器配置）
m0_48639280的博客
01-04 2039
Python语言开发Spark程序步骤？主要是获取SparkContext对象,基于SparkContext对象作为执行环境入口如何提交Spark应用？将程序代码上传到服务器上, 通过spark-submit客户端工具进行提交。
python黑马程序员
08-20
对于Python黑马程序员，我可以提供一些相关的信息。Python黑马程序员是指在Python编程方面具有出色能力和技术水平的开发者。他们通常具备扎实的Python基础知识，并且能够熟练运用Python进行软件开发、数据分析、人工智能等领域的工作。 Python黑马程序员通常具备以下特点： 1. 扎实的Python基础知识：熟悉Python的语法、数据类型、函数、类等基本概念，并能够熟练运用这些知识进行编程。 2. 广泛的应用领域：能够将Python应用于不同领域的开发工作，如Web开发、数据分析、机器学习、自然语言处理等。 3. 解决问题的能力：擅长运用Python编程解决实际问题，具备良好的问题分析和解决能力。 4. 学习和进步的态度：持续学习新的技术和工具，保持对技术的敏感性，并能将新知识应用到实践中。 如果你想成为一名Python黑马程序员，建议你从以下几个方面入手： 1. 学习Python基础知识：掌握Python的语法、数据类型、函数、类等基本概念，并通过编写小项目来加深理解。 2. 深入学习Python相关的库和框架：如Django、Flask、NumPy、Pandas、Scikit-learn等，根据自己的兴趣和需求选择学习。 3. 多实践、多项目经验：通过参与实际项目或者自己构思小项目来提升编程技巧和解决问题的能力。 4. 关注技术社区和技术博客：保持对新技术和行业动态的关注，学习他人的经验和分享。 希望以上信息对你有所帮助！如果有其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值