迁移anaconda/spark集群步骤

工作中遇到，需要将整个anaconda和集群客户端迁移至新机器，以下是整理的一些操作大纲，以免有相同的问题时不知道如何做以及需要修改哪些内容。

大纲

1.anaconda迁移：需修改文件中的anaconda路径
2.集群客户端迁移：需修改spark配置文件中的anaconda路径
3.集群服务端：服务端需修改相应配置文件Python路径（同1）

---

一、anaconda迁移

1. 旧机器中anaconda打包

tar -czvf anaconda3.tar.gz /data/anaconda3

2. scp至新机器

scp anaconda3.tar.gz -P 22 用户名@ip地址:/路径

3. 在新机器解压

tar -xzvf anaconda3.tar.gz 

4. 修改anaconda中路径（因为在旧机器安装时会自动写入一些Python路径，在新机器要修改成新的路径）

sed -i "s/\/data\/anaconda3/\/data01\/anaconda3/g" `grep "\/data\/anaconda3" -rl ./`

二、集群客户端迁移

1. 旧机器中TDP打包

tar -cvf TDP.tar /TDP

2. scp至新机器

scp TDP.tar -P 22 用户名@ip地址:/路径

3. 在新机器解压

tar -xvf TDP.tar

4. 修改spark安装路径下的spark-env.sh文件中的Python配置路径

export PYSPARK_PYTHON=/data01/anaconda3/bin/python

三、测试

启动pyspark，查看是否启用成功，并测试简单代码是否能正常运行。