Spark(Python)前期环境配置
参考文献:Spark大数据技术与应用案例教程 航空工业出版社
一、安装VMware17
安装VMware,直接按照软件安装步骤来就好,(建议改一下默认路径不在C盘就行)
二、创建新的虚拟机
我们这里选择自定义,下一步
这里默认17,下一步
这里选择稍后安装操作系统,稍后会用自己下载的ISO
这里选择Linux系统,版本就是red 8
虚拟机名称可以改为spark方便记忆和查找,存储位置可以改一下不是C盘就行
处理器数量不需要太多,考虑自己的电脑配置,2-6核一般都可
运行内存可以自由设置,不用太多,同样考虑主机配置
网络配置选择NAT
I/O控制器选择默认
磁盘类型选择SCSI
创建新的磁盘
磁盘内存建议30G可以更多
磁盘文件名改为spark
这里可以看到配置信息,然后点击自定义硬件,添加iso镜像文件
点击CD/DVD处,右侧选择使用ISO映像文件中的浏览,找到ISO映像文件的存放位置选择
添加后入图直接关闭就行
开启虚拟机
开启后如下页面,不用管倒计时结束即可进行下一步
如下同样不需要操作,等待即可
进入系统安装界面,左边界面下滑找到中文
出现信息摘要界面,开始设置
开启网络连接
设置时间与日期
设置为上海时间,也可以直接点地图的这个位置
配置软件选择
默认选择GUI服务器,若不是默认手动调整
配置安装目的地
这里选择自定义
上一步点击完成后,进入手动分区界面,点击+号
添加/boot,容量为1G
添加后设置文件系统为ext4类型
同理添加挂载点swap,容量为2G
swap的设备类型设置为标准分区
添加根目录挂载点,容量为17G
设备类型选择标准分区,文件系统为ext4,然后点击完成
点击完成后会出现是否接受更改分区的界面,选择接受更改即可
完成后,点击开始安装
在安装界面,会有添加账号的设置
点击设置根密码(即设置root密码),个人看法:密码不用太长,会影响登录速度,4位即可不用管下方密码提示,双击完成即可
接着创建hadoop用户
用户名和全名均为hadoop(为了方便后期配置),将此用户设置为管理员,密码还是建议不用太长,双击完成即可
安装完成后,点击右下角重启即可
重启之后进入点击未接收许可证
这里同意许可
上一步完成后选择结束配置
再次打开虚拟机如下,点击hadoop
输入密码,解锁
第一次进入系统稍等一下会出现如下界面
选择汉语
跳过在线账号
开始使用
出现如下界面,直接关闭就行
red hat的桌面不同于其他系统,桌面上没有软件图标
三、安装配置JDK
在虚拟机内,点击活动,找到终端打开
在终端分别输入下面代码
cd /usr/lib
sudo mkdir jvm
sudo wget https://download.java.net/openjdk/jdk11/ri/openjdk-11+28_linux-x64_bin.tar.gz
注意:
sudo是Linux中的提权指令,需要输入虚拟机密码,但是这个密码是不会在终端面板上显示的,直接输就行不用管显示问题
将jdk压缩包解压到/usr/lib/jvm下
sudo tar -zxvf openjdk-11+28_linux-x64_bin.tar.gz -C /usr/lib/jvm
用vim编辑器打开配置文件
vim ~/.bashrc
浅述vim与gedit不同:
vim:不能随意定位光标,编辑是需要按i键,退出编辑esc键,保存需要先按esc键,在打出:wq(w是保存,q是退出)。
复制:Ctrl+shift+C
粘贴是Ctrl+shift+V
gedit:可以用法与window文本编辑一样。
复制:Ctrl+C
粘贴:Ctrl+V
保存:Ctrl+S
在配置文件添加如下信息
export JAVA_HOME=/usr/lib/jvm/jdk-11
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
执行命令,使配置文件生效
source ~/.bashrc
用以下指令查看jdk是否配置完成,若如下图即为配置完成
java -version
四、安装配置hadoop
首先修改一下虚拟机浏览器中英文问题,打开火狐
找到设置
点击这里,然后寻找更多语言
找到C开头的选择汉语
点击ok就行
刷新页面就变成了中文
在浏览器搜索hadoop下载网址,这里用的是清华的开源镜像,比官方的快
https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
选择hadoop3.3.4
下载hadoop3.3.4.tar.gz
点击后浏览器会出现弹窗,选择保存文件,确定即可
这里浏览器下载到的路径就是在名为下载的文件夹
下载完成后,打开终端输入指令,解压hadoop安装包到/usr/local
sudo tar -zxf ~/下载/hadoop-3.3.4.tar.gz -C /usr/local
输入hadoop的登录密码
分别输入以下指令,将目录改名为hadoop,将hadoop文件夹权限添加到hadoop用户,查看hadoop版本
cd /usr/local
sudo mv ./hadoop-3.3.4/ ./hadoop
sudo chown -R hadoop ./hadoop
cd hadoop
./bin/hadoop version
如下图即为正确
设置ssh免密登录
ssh服务可以实现远程登录
分别在终端依次执行以下指令,创建/media/cdrom文件夹,将cdrom挂载到/media/cdrom
sudo mkdir –p /media/cdrom
sudo mount /dev/cdrom /media/cdrom
打开fstab配置文件
sudo vim /etc/fstab
添加如下信息
/dev/cdrom /media/cdrom iso9660 defaults 0 0
进入/etc/yum.repos.d文件夹
cd /etc/yum.repos.d
编辑rhe18.repo文件配置信息
sudo vim rhe18.repo
添加如下代码
[BaseOS]
name=BaseOS
baseurl=file:///media/cdrom/BaseOS
enabled=1
gpgcheck=0
[AppStream]
name=AppStream
baseurl=file:///media/cdrom/AppStream
enabled=1
gpgcheck=0
返回根目录
cd ~
安装openssh-server服务
sudo yum -y install openssh-server
使用ssh登录,第一次登录会提示yes/no 这里输入yes并回车
ssh localhost
接下来进行免密登录ssh设置,先退出登录,在终端输入exit
exit
进入ssh目录
cd ~/.ssh
生成密钥文件
ssh-keygen -t rsa
这里出现带:号的地方直接回车
将密钥放入授权文件
cat ./id_rsa.pub >> ./authorized_keys
返回根目录
cd ~
修改文件访问权限
chmod 600 ~/.ssh/authorized_keys
重新登录,发现不需要输入密码
ssh localhost
五、安装配置Python
Python下载网址,打开可能会有点慢等一会就好
https://www.python.org/downloads/source/
这里选择3.9.11版本
进入下载文件夹
cd ~/下载
解压Python安装包
sudo tar -zxvf Python-3.9.11.tgz
进入解压后的Python目录
cd ~/下载/Python-3.9.11
安装Python依赖包,如图是安装成功的终端
sudo yum -y install openssl-devel libffi libffi-devel readline-devel gcc zlib-devel
配置源码编译后的安装路径,如下图是配置成功的终端
./configure --prefix=/usr/local/python3.9
安装编译
sudo yum install make
这里会确认是否安装,输入y并回车
安装成功的终端界面
开启两个进程进行代码编译
make -j 2
编译后的终端界面
开始安装
sudo make install
安装后的终端界面
配置Python环境,编辑配置文件
vim ~/.bashrc
添加如下代码到配置文件
export PATH=/usr/local/python3.9/bin:$PATH
让配置文件生效
source ~/.bashrc
验证Python是否安装成功在终端输入如下代码,如下图出现>>>(Python的交互模式)即为成功(退出Python交互输入exit()
)
python3.9
六、安装配置PyCharm
下载网址:
https://www.jetbrains.com/pycharm/download/other.html
网页向下翻找到23.1的版本,下载2023,1-Linux的版本
将安装包解压到/usr/local下
sudo tar -zxvf ~/下载/pycharm-community-2023.1.tar.gz -C /usr/local/
进入解压后的目录
cd /usr/local/pycharm-community-2023.1/bin
运行目录下.sh程序打开pycharm
. pycharm.sh
同意协议,下一步
选择don’t send
进入主界面后,选择plugins
搜索Chinese,安装汉化插件,下载完后restart IDE
重启之后,pycharm就变成中文了,点击自定义,将颜色方案选择light(根据个人习惯)
进入根目录
cd ~
配置desktop文件
sudo gedit /usr/share/applications/Pycharm.desktop(不一定可以用)
sudo vim /usr/share/applications/Pycharm.desktop
在文件里添加如下信息
[Desktop Entry]
Type=Application
Name=Pycharm
GenericName=Pycharm3
Comment=Pycharm3:The Python IDE
Exec=sh /usr/local/pycharm-community-2023.1/bin/pycharm.sh
Icon=/usr/local/pycharm-community-2023.1/bin//pycharm.png
Terminal=pycharm
Categories=Pycharm
将pycharm添加到常用软件栏,点击活动,直接拖拽即可
以上就是Spark(Python)的一些前期环境配置