Spark学习记录（二）

G1ea0

已于 2023-10-09 23:29:01 修改

阅读量285

点赞数 1

文章标签： spark 学习大数据

于 2023-10-06 02:00:03 首次发布

本文链接：https://blog.csdn.net/qq_52720527/article/details/133590971

版权

Spark（Python）前期环境配置

参考文献：Spark大数据技术与应用案例教程航空工业出版社

一、安装VMware17

安装VMware，直接按照软件安装步骤来就好，（建议改一下默认路径不在C盘就行）

二、创建新的虚拟机

在这里插入图片描述
我们这里选择自定义，下一步

这里默认17，下一步

这里选择稍后安装操作系统，稍后会用自己下载的ISO

这里选择Linux系统，版本就是red 8

虚拟机名称可以改为spark方便记忆和查找，存储位置可以改一下不是C盘就行
在这里插入图片描述
处理器数量不需要太多，考虑自己的电脑配置，2-6核一般都可

运行内存可以自由设置，不用太多，同样考虑主机配置

网络配置选择NAT

I/O控制器选择默认

磁盘类型选择SCSI

创建新的磁盘

磁盘内存建议30G可以更多
在这里插入图片描述
磁盘文件名改为spark

这里可以看到配置信息，然后点击自定义硬件，添加iso镜像文件

点击CD/DVD处，右侧选择使用ISO映像文件中的浏览，找到ISO映像文件的存放位置选择

添加后入图直接关闭就行

开启虚拟机
在这里插入图片描述
开启后如下页面，不用管倒计时结束即可进行下一步

如下同样不需要操作，等待即可

进入系统安装界面，左边界面下滑找到中文

出现信息摘要界面，开始设置

开启网络连接

设置时间与日期

设置为上海时间，也可以直接点地图的这个位置
在这里插入图片描述
配置软件选择

默认选择GUI服务器，若不是默认手动调整

配置安装目的地

这里选择自定义

上一步点击完成后，进入手动分区界面，点击+号

添加/boot，容量为1G

添加后设置文件系统为ext4类型

同理添加挂载点swap，容量为2G
在这里插入图片描述
swap的设备类型设置为标准分区

添加根目录挂载点，容量为17G

设备类型选择标准分区，文件系统为ext4，然后点击完成

点击完成后会出现是否接受更改分区的界面，选择接受更改即可

完成后，点击开始安装
在这里插入图片描述
在安装界面，会有添加账号的设置

点击设置根密码（即设置root密码），个人看法：密码不用太长，会影响登录速度，4位即可不用管下方密码提示，双击完成即可

接着创建hadoop用户

用户名和全名均为hadoop（为了方便后期配置），将此用户设置为管理员，密码还是建议不用太长，双击完成即可
在这里插入图片描述
安装完成后，点击右下角重启即可

重启之后进入点击未接收许可证

这里同意许可

上一步完成后选择结束配置

再次打开虚拟机如下，点击hadoop

输入密码，解锁

第一次进入系统稍等一下会出现如下界面
在这里插入图片描述
选择汉语

跳过在线账号

开始使用

出现如下界面，直接关闭就行

red hat的桌面不同于其他系统，桌面上没有软件图标

三、安装配置JDK

在虚拟机内，点击活动，找到终端打开
在这里插入图片描述
在终端分别输入下面代码

cd /usr/lib
sudo mkdir jvm
sudo wget https://download.java.net/openjdk/jdk11/ri/openjdk-11+28_linux-x64_bin.tar.gz

在这里插入图片描述

注意：
sudo是Linux中的提权指令，需要输入虚拟机密码，但是这个密码是不会在终端面板上显示的，直接输就行不用管显示问题
将jdk压缩包解压到/usr/lib/jvm下

sudo tar -zxvf openjdk-11+28_linux-x64_bin.tar.gz -C /usr/lib/jvm

在这里插入图片描述
用vim编辑器打开配置文件

vim ~/.bashrc

浅述vim与gedit不同：
vim：不能随意定位光标，编辑是需要按i键，退出编辑esc键，保存需要先按esc键，在打出:wq（w是保存，q是退出）。
复制：Ctrl+shift+C
粘贴是Ctrl+shift+V
gedit：可以用法与window文本编辑一样。
复制：Ctrl+C
粘贴：Ctrl+V
保存：Ctrl+S

在配置文件添加如下信息

export JAVA_HOME=/usr/lib/jvm/jdk-11
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

在这里插入图片描述
执行命令，使配置文件生效

source ~/.bashrc

用以下指令查看jdk是否配置完成，若如下图即为配置完成

java -version

在这里插入图片描述

四、安装配置hadoop

首先修改一下虚拟机浏览器中英文问题，打开火狐
在这里插入图片描述
找到设置

点击这里，然后寻找更多语言

找到C开头的选择汉语

点击ok就行

刷新页面就变成了中文

在浏览器搜索hadoop下载网址，这里用的是清华的开源镜像，比官方的快

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

选择hadoop3.3.4
在这里插入图片描述
下载hadoop3.3.4.tar.gz

点击后浏览器会出现弹窗，选择保存文件，确定即可

这里浏览器下载到的路径就是在名为下载的文件夹

下载完成后，打开终端输入指令，解压hadoop安装包到/usr/local

sudo tar -zxf ~/下载/hadoop-3.3.4.tar.gz -C /usr/local

输入hadoop的登录密码
在这里插入图片描述
分别输入以下指令，将目录改名为hadoop，将hadoop文件夹权限添加到hadoop用户，查看hadoop版本

cd /usr/local
sudo mv ./hadoop-3.3.4/ ./hadoop
sudo chown -R hadoop ./hadoop
cd hadoop
./bin/hadoop version

如下图即为正确
在这里插入图片描述
设置ssh免密登录
ssh服务可以实现远程登录
分别在终端依次执行以下指令，创建/media/cdrom文件夹，将cdrom挂载到/media/cdrom

sudo mkdir –p /media/cdrom
sudo mount /dev/cdrom /media/cdrom

打开fstab配置文件

sudo vim /etc/fstab

添加如下信息

/dev/cdrom	/media/cdrom	iso9660	defaults	0	0

在这里插入图片描述
进入/etc/yum.repos.d文件夹

cd /etc/yum.repos.d

编辑rhe18.repo文件配置信息

sudo vim rhe18.repo

添加如下代码

[BaseOS]
name=BaseOS
baseurl=file:///media/cdrom/BaseOS
enabled=1
gpgcheck=0
[AppStream]
name=AppStream
baseurl=file:///media/cdrom/AppStream
enabled=1
gpgcheck=0

返回根目录

cd ~

安装openssh-server服务

sudo yum -y install openssh-server

在这里插入图片描述
使用ssh登录，第一次登录会提示yes/no 这里输入yes并回车

ssh localhost

在这里插入图片描述
接下来进行免密登录ssh设置，先退出登录，在终端输入exit

exit

进入ssh目录

cd ~/.ssh

生成密钥文件

ssh-keygen -t rsa

这里出现带：号的地方直接回车
在这里插入图片描述
将密钥放入授权文件

cat ./id_rsa.pub >> ./authorized_keys

返回根目录

cd ~

修改文件访问权限

chmod 600 ~/.ssh/authorized_keys

重新登录，发现不需要输入密码

ssh localhost

在这里插入图片描述

五、安装配置Python

Python下载网址，打开可能会有点慢等一会就好

https://www.python.org/downloads/source/

这里选择3.9.11版本
在这里插入图片描述
进入下载文件夹

cd ~/下载

解压Python安装包

sudo tar -zxvf Python-3.9.11.tgz

在这里插入图片描述
进入解压后的Python目录

cd  ~/下载/Python-3.9.11

安装Python依赖包，如图是安装成功的终端

sudo yum -y install openssl-devel libffi libffi-devel readline-devel gcc zlib-devel

在这里插入图片描述

配置源码编译后的安装路径，如下图是配置成功的终端

./configure --prefix=/usr/local/python3.9

在这里插入图片描述
安装编译

sudo yum install make

这里会确认是否安装，输入y并回车
在这里插入图片描述
安装成功的终端界面

开启两个进程进行代码编译

make -j 2

编译后的终端界面
在这里插入图片描述
开始安装

sudo make install

安装后的终端界面
在这里插入图片描述
配置Python环境，编辑配置文件

vim ~/.bashrc

添加如下代码到配置文件

export PATH=/usr/local/python3.9/bin:$PATH

在这里插入图片描述
让配置文件生效

source ~/.bashrc

验证Python是否安装成功在终端输入如下代码，如下图出现>>>（Python的交互模式）即为成功（退出Python交互输入exit()）

python3.9

在这里插入图片描述
六、安装配置PyCharm
下载网址：

https://www.jetbrains.com/pycharm/download/other.html

网页向下翻找到23.1的版本，下载2023,1-Linux的版本
在这里插入图片描述
将安装包解压到/usr/local下

sudo tar -zxvf ~/下载/pycharm-community-2023.1.tar.gz -C /usr/local/

在这里插入图片描述
进入解压后的目录

cd /usr/local/pycharm-community-2023.1/bin

运行目录下.sh程序打开pycharm

. pycharm.sh

在这里插入图片描述
同意协议，下一步

选择don’t send

进入主界面后，选择plugins

搜索Chinese，安装汉化插件，下载完后restart IDE

重启之后，pycharm就变成中文了，点击自定义，将颜色方案选择light（根据个人习惯）

进入根目录

cd ~

配置desktop文件

sudo gedit /usr/share/applications/Pycharm.desktop（不一定可以用）
sudo vim /usr/share/applications/Pycharm.desktop

在文件里添加如下信息

[Desktop Entry]
Type=Application
Name=Pycharm
GenericName=Pycharm3
Comment=Pycharm3:The Python IDE
Exec=sh /usr/local/pycharm-community-2023.1/bin/pycharm.sh
Icon=/usr/local/pycharm-community-2023.1/bin//pycharm.png
Terminal=pycharm
Categories=Pycharm

在这里插入图片描述
将pycharm添加到常用软件栏，点击活动，直接拖拽即可

以上就是Spark（Python）的一些前期环境配置