PySpark 单机版(含spark-submit)

最新推荐文章于 2024-06-27 22:04:19 发布
最新推荐文章于 2024-06-27 22:04:19 发布
阅读量1k 收藏 2
点赞数
文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yoshubom/article/details/127167963
版权

PySpark 单机版(含spark-submit)

前提条件

JDK 1.8
Python 3.7

下载Spark2

https://spark.apache.org/downloads.html
https://archive.apache.org/dist/spark/spark-2.4.8/spark-2.4.8-bin-hadoop2.7.tgz

安装Spark2

# 0. 创建安装路径
sudo mkdir -p /opt/modules
sudo chown -R `id -u`:`id -g` /opt/modules

# 1. 解压部署
tar -xf spark-2.4.8-bin-hadoop2.7.tgz -C /opt/modules
cd /opt/modules && mv spark-2.4.8-bin-hadoop2.7 spark-2.4.8

# 2. 减少日志输出，可选
cd /opt/modules/spark-2.4.8/conf && cp log4j.properties.template log4j.properties  
vi log4j.properties  # 进行以下修改
## log4j.rootCategory=INFO, console 修改为
## log4j.rootCategory=WARN, console

检验Spark2

# 1. spark-sql
cd /opt/modules/spark-2.4.8 && bin/spark-sql
## spark-sql> show databases;
## default
## Time taken: 1.972 seconds, Fetched 1 row(s)
## spark-sql> quit;

# 2. spark-submit
cd /opt/modules/spark-2.4.8 &&\
  bin/spark-submit examples/src/main/python/pi.py
## Pi is roughly 3.142200
## spark-submit 执行Python 脚本时，它默认会调用Python 2.7 如果没有则报错
## Cannot run program "python": error=2, No such file or directory
## 参考，https://spark.apache.org/docs/2.4.8/configuration.html，解决办法如下
## 方法1，Simple Command，一次性的
PYSPARK_PYTHON=python3 bin/spark-submit examples/src/main/python/pi.py
## 方法2，将以下内容写入~/.bashrc 或~/.zshrc.pre-oh-my-zsh，永久的
export PYSPARK_PYTHON=python3
### 之后记得用source 命令让配置生效，然后就可以直接执行spark-submit 了
source ~/.zshrc.pre-oh-my-zsh
bin/spark-submit examples/src/main/python/pi.py

PySpark 开发

Spark2 单机版说明

由于是纯单机版，所以本例的Spark默认使用自带的Hive和Derby管理元数据，且数据文件都存储在本地磁盘
例如执行cd /opt/modules/spark-2.4.8 && bin/spark-sql
其就会在/opt/modules/spark-2.4.8即当前路径下生成

  1. 一个文件：derby.log，记录了derby数据库的相关日志信息，可通过JVM参数derby.system.home指定路径
  2. 一个目录：metastore_db，derby用于记录元数据的数据库，可通过JVM参数derby.system.home指定路径
  3. 一个目录：spark-warehouse，真正存储数据的地方，可通过 spark.sql.warehouse.dir修改存储路径
    参考，https://spark.apache.org/docs/2.4.8/sql-data-sources-hive-tables.html
    特别注意metastore_db和spark-warehouse，后面开发会用到

metastore_db 路径修改

spark-warehouse 路径修改

上面说到derby.log和metastore_db在执行Spark程序的当前路径下生成，不方便管理，需要指定一个集中的地方

# 修改Spark 默认配置文件
vi /opt/modules/spark-2.4.8/conf/spark-defaults.conf
# 添加以下内容
spark.sql.warehouse.dir        /opt/modules/localfs/warehouse
spark.driver.extraJavaOptions  -Dderby.system.home=/opt/modules/metastore
## 修改后，将会在/opt/modules/metastore 下生成`derby.log`和`metastore_db`
## 而`数据库`和`没有指定存储路径`的`外部表`将会存储在/opt/modules/localfs/warehouse

示例程序数据准备

-- 启动Spark-SQL 交互终端
-- cd /opt/modules/spark-2.4.8 && bin/spark-sql

create database if not exists temp_db;
use temp_db;

drop table if exists t01;
create external table t01 (
    uid int,
    uname string
) partitioned by (dt string)
stored as parquet
location '/opt/modules/localfs/new/t01'
;

insert overwrite table temp_db.t01 partition (dt='2022-09-10') 
values (1, 'AAA'), (2, 'BBB'), (3, 'CCC'), (4, 'DDD');

select * from temp_db.t01;

通过spark-submit 提交

测试程序01

在/tmp目录下创建t01.py，内容如下

cat > /tmp/t01.py << 'EOF'
from pyspark.sql import SparkSession

#metastore_path = "jdbc:derby:;databaseName=/opt/modules/spark-2.4.8/metastore_db"
metastore_path = "jdbc:derby:;databaseName=/opt/modules/metastore/metastore_db"

spark = SparkSession.builder.master("local[2]").appName("test")\
            .config("javax.jdo.option.ConnectionURL", metastore_path)\
            .enableHiveSupport()\
            .getOrCreate()

spark.sql("show databases").show()
spark.sql("use temp_db")#.show()
spark.sql("show tables").show()
read_df = spark.sql("select * from temp_db.t01 limit 10")
read_df.show()

spark.stop()

EOF
提交测试程序
# 因为Derby 只支持单用户，所以提交前先确认没有别的Spark 程序在本机运行
cd /opt/modules/spark-2.4.8 && bin/spark-submit /tmp/t01.py

# 执行结果如下
+------------+
|databaseName|
+------------+
|     default|
|     temp_db|
+------------+

+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
| temp_db|      t01|      false|
+--------+---------+-----------+

+---+-----+----------+
|uid|uname|        dt|
+---+-----+----------+
|  3|  CCC|2022-09-10|
|  4|  DDD|2022-09-10|
|  1|  AAA|2022-09-10|
|  2|  BBB|2022-09-10|
+---+-----+----------+

python3 运行pyspark

创建测试环境
# 1. 创建虚拟环境
python3 -m venv ts01

# 2. 激活虚拟环境
cd ts01 && source bin/activate

# 后面测试结束之后
# 3. 退出虚拟环境
deactivate

# 4 删除虚拟环境
cd .. && rm -rf ts01
引入PySpark
# 相当于手动 pip3 install pyspark，即然Spark 安装包里有就直接用了
cd lib/python3.7/site-packages/ &&\
cp /opt/modules/spark-2.4.8/python/lib/{py4j-0.10.7-src.zip,pyspark.zip} . &&\
unzip py4j-0.10.7-src.zip && unzip pyspark.zip &&\
rm -rf py4j-0.10.7-src.zip pyspark.zip

# 检验是否成功引入PySpark
python3 <(echo from pyspark.sql import SparkSession)
## 什么都不显示即没有报错就表示成功
测试程序02

在/tmp目录下创建t02.py，内容如下

cat > /tmp/t02.py << 'EOF'
from pyspark.sql import SparkSession

# 这里指定环境变量让程序可以直接运行
import os
os.environ['SPARK_HOME'] = '/opt/modules/spark-2.4.8'
os.environ['PYTHONPATH'] = '/opt/modules/spark-2.4.8/python'
#os.environ["PYSPARK_PYTHON"] = "/Library/Frameworks/Python.framework/Versions/3.7/bin/python3"

spark = SparkSession.builder.master("local[2]").appName("test")\
        .config("javax.jdo.option.ConnectionURL", "jdbc:derby:;databaseName=/opt/modules/metastore/metastore_db")\
        .enableHiveSupport().getOrCreate()

spark.sql("show databases").show()
spark.sql("use temp_db")
spark.sql("show tables").show()
spark.sql("""
        insert overwrite table temp_db.t01 
        partition(dt='2022-09-30')
        values (5, 'EEE'), (6, 'FFF')
""")
read_df = spark.sql("select * from t01 limit 10")
read_df.show()

spark.stop()

EOF
执行测试程序
# 因为Derby 只支持单用户，所以提交前先确认没有别的Spark 程序在本机运行
# 注意要在之前创建的虚拟环境ts01 下执行，因为那里面配置了pyspark 的依赖
python3 /tmp/t02.py

# 执行结果如下
+------------+
|databaseName|
+------------+
|     default|
|     temp_db|
+------------+

+--------+---------+-----------+
|database|tableName|isTemporary|
+--------+---------+-----------+
| temp_db|      t01|      false|
+--------+---------+-----------+

+---+-----+----------+
|uid|uname|        dt|
+---+-----+----------+
|  3|  CCC|2022-09-10|
|  4|  DDD|2022-09-10|
|  1|  AAA|2022-09-10|
|  2|  BBB|2022-09-10|
+---+-----+----------+

常见错误

Cannot run program “python”: error=2, No such file or directory

## 参考，https://spark.apache.org/docs/2.4.8/configuration.html，解决办法如下
## 方法1，Simple Command，一次性的
PYSPARK_PYTHON=python3 bin/spark-submit examples/src/main/python/pi.py
## 方法2，将以下内容写入~/.bashrc 或~/.zshrc.pre-oh-my-zsh，永久的
export PYSPARK_PYTHON=python3
### 之后记得用source 命令让配置生效，然后就可以直接执行spark-submit 了
source ~/.zshrc.pre-oh-my-zsh
bin/spark-submit examples/src/main/python/pi.py
## 方法3，在程序中加上环境变量
os.environ["PYSPARK_PYTHON"] = "/Library/Frameworks/Python.framework/Versions/3.7/bin/python3"

Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

Derby只支持一个客户端连接，开启了多个spark-sql实例就会报改错误异常，提交任务前确保没有其他实例在本机运行

参考资料

Spark系列/PySpark/PyCharm 开发pyspark.md
Spark：Hive on Spark 单机版元数据管理
Spark Configuration 环境变量和配置参数
Spark SQL Hive Tables
Hive 的安装及配置，本机Derby 路径
Python3 虚拟环境和包
Spark运行时自定义derby.log和metastore_db的生成路径

yoshubom
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark-submit
03-14
hdp spark
pyspark spark-tfrecord-2.12-0.3.0.jar
02-14
支持spark集群下的pyspark环境生产tfrecord样本，可以使用常见的接口加载jar包对DataFrame数据进行格式转换，直接输出tfrecord文件到hdfs上。方便后续链路使用tensorflow来做进一步的样本加工和数据训练。支持spark ...
spark提交任务命令
weixin_44280356的博客
10-21 3330
Spark submit spark-submit 可以提交任务到 spark 集群执行，也可以提交到 hadoop 的 yarn 集群执行。 spark 提交到 yarn 执行的例子如下。 spark-submit --master yarn --executor-memory 20G --executor-cores 2 --driver-memory...
PySpark任务提交spark-submit参数设置一文详解
master_hunter的博客
01-12 5128
之前我们已经进行了pyspark环境的搭建以及经过jupyter notebook进行过开发以及实现了一系列的函数功能.但是一般我们跑spark都是在集群上面跑，只有测试一般在本地上测试，而且每个公司配置的spark集群的端口和设置的参数都有很大出入，故每种情况都有可能发生。所以一般任务提交的参数最好都需要能够清楚的明白对应功能。很多spark任务都会吃大量的内存以及队列资源，合理的安排spark资源十分重要，这些都需要我们在spark-submit指令上面配置。
python写一个简单的单机版本 JSON 和 YAML 转换器
最新发布
兔师傅的博客
06-27 223
JSON 和 YAML 转换器
pyspark入门 | spark-submit 提交pyspark任务
u011250186的博客
12-10 4409
https://github.com/hxjcarrie/pyspark_study 以LogisticRegression为例 输入数据样例（第一列为label，后面为feature） lrDemo.py（基于RDD的mllib） #!coding=utf8 ''' author: huangxiaojuan ''' import sys reload(sys) sys.setdefaultencoding('utf8') from pyspark.sql import SparkS...
PySpark 安装、配置之使用初体验
hecongqing的博客
10-03 6754
目录1、什么是 Apache Spark?2、spark安装(python版本)3、在jupyter notebook中使用PySpark什么是Apache Spark...
Spark环境搭建（本地模式）
m0_48639280的博客
12-27 1591
前置环节介绍： node1：hadoop NN DN RM NM ，hive node2：hadoop SNN DN NM node3：hadoop DN NMlocal模式基本原理 本质：启动一个JVM Process进程(一个进程里面有多个线程)，执行任务Task、 Local模式可以限制模拟Spark集群环境的线程数量，即local[a]或local[*]其中N代表可以使用N个线程，每个线程拥有一个cpu core。如果不指定N。则默认一个线程（该线程有一个core），通常CPU有几个core，就指
安装pyspark步骤过程
dx63dx的博客
06-08 3127
下载完提示要update的话，直接复制提示给的命令，直接下载。输入如下中的其中一个（我一般用第二个下载，比较快）导包那三个路径需要修改（下图划线处）须指定，否则执行数据分析时，会报错）四，配置本机Spark环境。将hadoop-3.3.1。配置信息的设置：主机和设置。放到一个指定的目录，比如。五，Spark环境准备。设置Spark的配置信息。创建Spark工具对象。
spark-submit cluster模式时driver-class-path支持hdfs路径
04-23
spark官方版本的driver-class-path不支持hdfs路径，只支持本地路径。本资源解决了这个问题，driver-class-path在cluster模式时可以支持hdfs路径，解决了cluster模式driver有大量jar依赖的问题。
配置好的 pyspark 安装包 spark-2.3.0-bin-2.6.0-cdh5.7.0.tar.gz
06-25
《全面解析 pyspark 配置与使用：基于 spark-2.3.0-bin-2.6.0-cdh5.7.0.tar.gz》 在大数据处理领域，Apache Spark 以其高效、易用的特性备受青睐，而 pyspark 则是 Spark 与 Python 的结合，为 Python 开发者提供了...
Spark源码系列（一）spark-submit提交作业过程
01-30
折腾了很久，终于开始学习Spark的源码...这个是提交到standalone集群的方式，打开spark-submit这文件，我们会发现它最后是调用了org.apache.spark.deploy.SparkSubmit这个类。我们直接进去看就行了，main函数就几行代码
大数据单机学习环境搭建(9)Spark单节点安装与pyspark使用
LMTX069的博客
05-20 2013
Spark Local模式环境部署和使用，包含python操作sparksql的使用案例
PySpark学习---通过spark-submit提交到yarn运行
weixin_46164667的博客
04-22 478
Linux上提交文件命令。
【PySpark学习笔记三】spark-submit命令详解
roguesir的博客
10-23 8457
spark-submit命令利用可重用的模块形式编写脚本，并且以编程方式提交作业到Spark。 spark-submit命令 spark-submit命令提供一个统一的API把应用程序部署到各种Spark支持的集群管理器上，从而免除了单独配置每个应用程序。 命令行参数 下面逐个介绍这些参数： --master：用于设置主结点URL的参数。 local：用于执行本地机器的代码。Spark运行一个...
spark-submit 命令使用详解
qq_35224503的博客
02-20 2569
sumbmit
python 单机程序_python单机代码
weixin_39526459的博客
11-29 544
广告关闭腾讯云11.11云上盛惠 ，精选热门产品助力上云，云服务器首年88元起，买的越多返的越多，最高返5000元！使用 ray 用 15 行 python代码实现一个参数服务器参数服务器是很多机器学习应用的核心部分。 其核心作用是存放机器学习模型的参数（如，神经网络的权重）和提供服务将参数传给客户端（客户端通常是处理数据和计算参数更新的workers）参数服务器（如同数据库）是正常构建并 shi...
pyspark==windows单机搭建
hebian1994的博客
05-28 432
下载安装hadoop-3.3.5并完整替换bin目录,配置HADOOP_HOME。下载安装JDK17,配置JAVA_HOME。下载spark配置SPARK_HOME。注意要指定python的地址。
pyspark单机与集群模式性能测试
qq_34779869的博客
11-03 294
pyspark本地与yarn模式的选择
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值