填坑日记---linux环境安装python3.7.3及pyspark

系统:CentOS7 64位(Python version 2.7.5)
目的:安装pyspark使其启动的默认python版本为python3

python3.7.3

(1)首先安装依赖包gcc(管理员或其权限下运行)

yum -y install gcc  

(2)安装其他依赖包(可以不安装,但是可能会安装过程中报错):

yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel libffi-devel

(3)在/usr下下载python

cd /usr/
wget https://www.python.org/ftp/python/3.7.3/Python-3.7.3.tgz

(4)解压缩

 tar -xvf Python-3.7.3.tar.xz

(5)建立空文件夹,放置python安装程序

mkdir /usr/local/python3

(6)配置,指定软件的安装目录,编译与安装:

 ./configure prefix=/usr/local/python3
 make && make install

(7)建立软连接:

ln -s /usr/local/python3/bin/python3.7 /usr/bin/python
ln -s /usr/local/python3/bin/pip3.7 /usr/bin/pip

(8)检查是否成功

python3 -V
pip3 -V

在这里插入图片描述

pyspark2.4.2

(1)先安装java

yum install java

(2)创建一个spark目录

mkdir /usr/spark
cd /usr/spark

(3)下载pyspark包

https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.4.2/spark-2.4.2-bin-hadoop2.7.tgz

(4)解压

tar -zxvf spark-2.4.2-bin-hadoop2.7.tgz

(5)配置spark环境变量

vi /etc/profile

在profile文件中最后一行写入:

PATH=/usr/spark/spark-2.4.2-bin-hadoop2.7/bin:$PATH
source /etc/profile
echo $PATH

在这里插入图片描述
环境变量设置成功
(6)启动

pyspark

在这里插入图片描述

  • 2
    点赞
  • 11
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值