Spark技术02直播笔记

更详细的笔记可以跳转到PySpark(超详细笔记)
hadoop集群部署好后 要进行python安装
在这里插入图片描述

在这里插入图片描述
先输入第一行 1,完成后输入第二行 2,3,4(有斜杠的是连在一起的)完成后第三行 5 完成后第四行 6
小技巧
在这里插入图片描述

全部选择ctrl+insert 或者是右击复制 后面的就不用手动敲了
在这里插入图片描述

shift+insert粘贴或右键粘贴
在这里插入图片描述
如果你hadoop集群突然发现连不上了, 有可能是防火墙的原因
在这里插入图片描述
打开新建文件传输
在这里插入图片描述
之后下载python3.7的包,最后一个p是大写P他写错了
在这里插入图片描述
主要点是切换位置
在这里插入图片描述
这个波浪号代表你所处点的位置是root
在这里插入图片描述
相当于root文件夹下
在这里插入图片描述
现在我们需要下载到/home/hadoop里面,这里才是配的主路径里面
在这里插入图片描述
用cd切换路径,也要活用tap自动补全键
在这里插入图片描述

进来以后输入pwd看看当前路径是不是这个
在这里插入图片描述
然后就可以下载了
在这里插入图片描述
tgz下载后他是属于一个压缩包之后我们需要对它进行解压,解压完以后就可以进行编译之后安装
在这里插入图片描述
如果有包 也可以右击传输从主机传输到虚拟机里面就不用下载包了

在这里插入图片描述
ls-l查看
在这里插入图片描述
有这个东西证明就没有问题了
在这里插入图片描述

tar -zxvf Python-3.7.7.tgz

进行解压
在这里插入图片描述
在这里插入图片描述
解压完后是能够看到Python-3.7.7的
或者你直接有的话 解压成文件在传输也行
在这里插入图片描述
解压完后在查看
在这里插入图片描述
解压包上会出现这个文件夹,接下来我们需要进入这个文件夹里去编译这个Python

在这里插入图片描述
切换目录 cd 大写P tap 键补全
在这里插入图片描述
pwd 查看 你已经进入到这个文件夹里面了,进来以后我们就需要编译安装这个Python
在这里插入图片描述
接下来就可以直接粘贴复制这个

./configure --prefix=/usr/local/python3 --enable-optimizations --with-ssl

在这里插入图片描述
安装目录是在这个/usr/local/python3,当然你们会发现它是没有python3的,它会自己去创建,你不用管
在这里插入图片描述

你只要把命令复制 敲回车就可以了
在这里插入图片描述
编译好后自己安装一下
在这里插入图片描述
安装完以后就可以看见这些东西了
在这里插入图片描述
好了之后一句句执行这个,创建软连接的意思就是把python3和pip3放在另一个目录里,配置的时候我们直接使用这两个目录就行

ln -s /usr/local/python3/bin/python3 /usr/local/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3

在这里插入图片描述
敲完两个命令之后会有这个
在这里插入图片描述
安装完后cd切换到根目录 然后再到bin里面
在这里插入图片描述

然后来验证 出现这个样式说明你已经安装成功了
在这里插入图片描述
之后按照笔记安装spark
在这里插入图片描述
配到这能出现这个结果就行了 后面不用进行了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值