更详细的笔记可以跳转到PySpark(超详细笔记)
hadoop集群部署好后 要进行python安装
先输入第一行 1,完成后输入第二行 2,3,4(有斜杠的是连在一起的)完成后第三行 5 完成后第四行 6
小技巧
全部选择ctrl+insert 或者是右击复制 后面的就不用手动敲了
shift+insert粘贴或右键粘贴
如果你hadoop集群突然发现连不上了, 有可能是防火墙的原因
打开新建文件传输
之后下载python3.7的包,最后一个p是大写P他写错了
主要点是切换位置
这个波浪号代表你所处点的位置是root
相当于root文件夹下
现在我们需要下载到/home/hadoop里面,这里才是配的主路径里面
用cd切换路径,也要活用tap自动补全键
进来以后输入pwd看看当前路径是不是这个
然后就可以下载了
tgz下载后他是属于一个压缩包之后我们需要对它进行解压,解压完以后就可以进行编译之后安装
如果有包 也可以右击传输从主机传输到虚拟机里面就不用下载包了
ls-l查看
有这个东西证明就没有问题了
tar -zxvf Python-3.7.7.tgz
进行解压
解压完后是能够看到Python-3.7.7的
或者你直接有的话 解压成文件在传输也行
解压完后在查看
解压包上会出现这个文件夹,接下来我们需要进入这个文件夹里去编译这个Python
切换目录 cd 大写P tap 键补全
pwd 查看 你已经进入到这个文件夹里面了,进来以后我们就需要编译安装这个Python
接下来就可以直接粘贴复制这个
./configure --prefix=/usr/local/python3 --enable-optimizations --with-ssl
安装目录是在这个/usr/local/python3,当然你们会发现它是没有python3的,它会自己去创建,你不用管
你只要把命令复制 敲回车就可以了
编译好后自己安装一下
安装完以后就可以看见这些东西了
好了之后一句句执行这个,创建软连接的意思就是把python3和pip3放在另一个目录里,配置的时候我们直接使用这两个目录就行
ln -s /usr/local/python3/bin/python3 /usr/local/bin/python3
ln -s /usr/local/python3/bin/pip3 /usr/local/bin/pip3
敲完两个命令之后会有这个
安装完后cd切换到根目录 然后再到bin里面
然后来验证 出现这个样式说明你已经安装成功了
之后按照笔记安装spark
配到这能出现这个结果就行了 后面不用进行了