[博学谷学习记录] 超强总结，用心分享|Pyspark基础入门1

Pyspark

注：大家觉得博客好的话，别忘了点赞收藏呀，本人每周都会更新关于人工智能和大数据相关的内容，内容多为原创，Python Java Scala SQL 代码，CV NLP 推荐系统等，Spark Flink Kafka Hbase Hive Flume等等~写的都是纯干货，各种顶会的论文解读，一起进步。
今天继续和大家分享一下Pyspark基础入门1
#博学谷IT学习技术支持

---

---

前言

Spark是一款用于大规模数据处理分布式的分析引擎
为什么说Spark运行效率要优于MR:

1- Spark提供了全新的数据结构: RDD 支持在内存中进行计算, 部分迭代操作支持内存迭代

2- Spark程序是基于线程来运行,而MR是基于进程来运行的, 线程的启动和销毁是由于进程的

Python版本的spark已经成为了主流

---

一、WordCount入门案例流程实现

二、代码实现

from pyspark import SparkContext, SparkConf
import os
# Spark程序入门案例: pyspark在编写的时候, 必须要有程序的入口
# 锁定远端环境, 确保环境统一
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ['PYSPARK_PYTHON'] = '/root/anaconda3/bin/python3'
os.environ['PYSPARK_DRIVER_PYTHON'] = '/root/anaconda3/bin/python3'

if __name__ == '__main__':
    print("word count")

    # 1-创建SparkContext对象
    conf = SparkConf().setAppName("word_count").setMaster("local[*]")
    sc = SparkContext(conf=conf)

    # 2.1 读取外部文件
    path = "file:///export/data/workspace/ky06_pyspark/data/word.txt"
    rdd_init = sc.textFile(name=path)
    print(rdd_init.collect())

    # 2.2 对数据进行切割操作
    rdd_flat_map = rdd_init.flatMap(lambda line: line.split(' '))
    print(rdd_flat_map.collect())

    # 2.3将单词转成(单词,1)
    rdd_map = rdd_flat_map.map(lambda word: (word, 1))
    print(rdd_map.collect())

    # 2.4分组聚合统计
    rdd_res = rdd_map.reduceByKey(lambda agg, curr: agg + curr)
    print(rdd_res.collect())

    sc.stop()

三、基于Spark-Submit进行任务提交

对于Spark框架来说, 后续需要将自己编写的spark程序提交到相关的资源平台上, 比如说: local yarn spark集群…

​ spark为了方便任务的提交操作, 专门提供了一个用于进行任务提交的脚本文件: spark-submit

cd /export/server/spark/bin/

格式: 
./spark-submit \
--master local | yarn | spark集群 ....
--其他的资源参数信息 (可选的  基本都是有默认值)
执行脚本 [参数]


示例: 
./spark-submit --master local[*] \
> /export/data/workspace/ky06_pyspark/_01_SparkBase/src/_05_pyspark_wd.py

对于local模式来说, 一直通过spark-submit操作, 用户不大, 如果是连接远程, 直接右键运行, 相当于local方案

什么时候, 需要使用spark-submit local模式:
	比如说: 在本地环境开发代码(不基于远端模式), 编写代码后, 需要在测试环境中运行, 此时将py脚本上传, 然后使用spark-submit运行测试

---

总结

今天给大家分享的是Pyspark基础入门1。