conda打包pyspark运行环境在yarn上运行

1、这里不包含自己编写的应用程序，只有应用的包

# -c 后面接需要依赖的第三方库
conda create -y -n test -c conda-forge pyarrow pandas conda-pack

conda activate test

conda pack -f -o test.tar.gz

2、提交到spark集群的时候， 需要通过–archives指定

客户端模式使用 这种方式适用于调试主要是快
spark3-submit --archives ./test.tar.gz file:///opt/sparkfile/test.py

clouder模式使用,这里需要将：项目的运行环境和执行文件都放到hdfs上这样各个节点才能获取到文件。
spark3-submit --master yarn  --archives hdfs://hadoop101:8020/pythonlib/test.tar.gz hdfs://hadoop101:8020/sparkproject/test.py

3、测试代码

import pyspark
from pyspark.context import SparkContext
from pyspark.sql import SparkSession
from pyspark.sql.functions import *
spark = SparkSession.builder.appName('feat-eng').getOrCreate()
anime_df = spark.read.csv('hdfs://hadoop101:8020/recommandvideo/anime.csv',header=True,inferSchema=True)
anime_df.printSchema()