VMware环境配置

3+2=小5？

已于 2023-02-01 16:10:07 修改

阅读量2.7k

点赞数 2

分类专栏： Vmware学习环境安装文章标签： hadoop 大数据 linux

于 2022-11-25 22:56:42 首次发布

本文链接：https://blog.csdn.net/lnxcw/article/details/128042999

版权

Vmware学习同时被 2 个专栏收录

16 篇文章 6 订阅

订阅专栏

环境安装

7 篇文章 0 订阅

订阅专栏

文章目录

一、环境配置
二、Hadoop伪分布式安装
三、hive安装
四、redis安装
五、Scala安装
六、spark安装

一、环境配置

1、修改主机名，然后切换到root用户

sudo hostnamectl set-hostname Master001
su -l root

在这里插入图片描述

2、确认主机网关

a.确认windows主机网关

在这里插入图片描述

b.确认虚拟机主机网关

在这里插入图片描述

3、修改网络配置

vi /etc/sysconfig/network-scripts/ifcfg-ens33

ONBOOT=yes
IPADDR=192.168.241.101
NETWASK=255.255.255.0
PREFIX=24
GATEWAY=192.168.241.2
BOOTPROTO=static

在这里插入图片描述修改主机名

4、设置DNS域名解析的配置文件resolv.conf。

vi /etc/resolv.conf

在这里插入图片描述

5、修改hosts文件

vi /etc/hosts

在这里插入图片描述

6、重启网络服务

nmcli connection reload
nmcli connection up ens33
nmcli d connect ens33

在这里插入图片描述

7、验证网络服务

a.虚拟机ping百度

在这里插入图片描述

b.主机ping虚拟机

在这里插入图片描述

二、Hadoop伪分布式安装

1、创建hadoop用户

a.新建用户

 adduser hadoop
 passwd hadoop

在这里插入图片描述

b.添加用户组

usermod -a -G hadoop hadoop

在这里插入图片描述

c.赋予root权限

vi /etc/sudoers
hadoop	ALL=(ALL)	ALL

在这里插入图片描述

2、切换到hadoop，创建压缩包上传文件和安装文件目录

在这里插入图片描述

3、上传压缩包

在这里插入图片描述

4、解压jdk和hadoop

tar -zxf jdk-8u221-linux-x64.tar.gz -C /home/hadoop/module/
tar -zxf hadoop-3.3.1.tar.gz -C /home/hadoop/module/

在这里插入图片描述

5、配置jdk、hadoop环境变量

vi /etc/profile

#JAVA
export JAVA_HOME=/home/hadoop/module/jdk1.8.0_221
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP
export HADOOP_HOME=/home/hadoop/module/hadoop-3.3.1
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native:$JAVA_LIBRARY_PATH

在这里插入图片描述

6、修改hadoop配置文件

在这里插入图片描述

core-site.xml

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/module/hadoop-3.3.1/tmp</value>
        </property>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://localhost:9000</value>
        </property>

在这里插入图片描述

hdfs-site.xml

        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
        <property>
                <name>dfs.namenode.name.dir</name>
                <value>/home/hadoop/module/hadoop-3.3.1/tmp/dfs/name</value>
        </property>
        <property>
                <name>dfs.datanode.data.dir</name>
                <value>/home/hadoop/module/hadoop-3.3.1/tmp/dfs/data</value>
        </property>

hadoop-env.xml

在这里插入图片描述

7、执行NameNode的格式化

如果要多次执行格式化，要删除data目录，否则datanode进程无法启动

hdfs namenode -format

在这里插入图片描述

在这里插入图片描述
格式化成功后name目录多了一个current文件夹

8、配置免密登录

ssh-keygen -t rsa -P ''

在这里插入图片描述
将密钥传给Master001

ssh-copy-id Master001

在这里插入图片描述

9、启动hadoop集群

在这里插入图片描述
hadoop配置安装完成

三、hive安装

1、上传安装包

安装包下载：https://hive.apache.org/downloads.html

Hive安装

2、上传安装包并解压

在这里插入图片描述

3、将hive添加到环境变量

export HIVE_HOME=/home/hadoop/module/hive-3.1.2
export PATH=$PATH:$HIVE_HOME/bin

在这里插入图片描述

4、修改hive配置文件

在这里插入图片描述

Hive.env.xml

在这里插入图片描述

Hive.site.xml

在这里插入图片描述

hive-log4j2.properties

在这里插入图片描述

5、安装mysql

查看linux系统中是否自带数据库

rpm –qa | grep mysql

安装mysql 数据库

yum install –y mysql-server mysql mysql-devel

在这里插入图片描述
使mysql开机启动

systemctl enable mysqld.service

启动mysql服务，查看状态

service mysqld start
Service mysqld status

在这里插入图片描述
初始化mysql
创建管理员用户密码

登录mysql数据库

mysql –u root -p

在这里插入图片描述
创建存放元数据的数据库

6、配置Hive相关配置文件

下载mysql-connector-java-8.0.26.java,上传到hive安装目录lib目录下

cp mysql-connector-java-8.0.26.jar /home/hadoop/module/hive-3.1.2/lib/

在这里插入图片描述

7、初始化hive

schematool -dbType mysql -initSchema

在这里插入图片描述

8、Hive启动

在这里插入图片描述

四、redis安装

1、下载

https://redis.io/download/

在这里插入图片描述

2、解压redis

在这里插入图片描述

3、安装gcc

yum install gcc

在这里插入图片描述

4、安装make命令

yum -y install gcc automake autoconf libtool make

在这里插入图片描述

5、执行make命令

进入解压目录中redis/src
在这里插入图片描述

6、执行make install

在这里插入图片描述

7、查看安装目录

/usr/local/bin

在这里插入图片描述

8、启动

redis-server
在这里插入图片描述

9、修改redis.conf

a. 先备份redis.conf，比如cp redis.conf redis.conf1

在这里插入图片描述

b.再配置 redis.conf , 将daemonize no 修改为 daemonize yes

在这里插入图片描述

10、后台启动

在这里插入图片描述

11、启动客户端

redis-cli

在这里插入图片描述

五、Scala安装

使用的Spark版本是3.1.2，其对应的Scala版本是2.12.x

1、下载

https://www.scala-lang.org/download/2.12.15.html
在这里插入图片描述

2、上传到虚拟机

在这里插入图片描述

3、安装

tar -zxf scala-2.12.15.tgz -C /home/hadoop/module/

在这里插入图片描述

4、添加环境变量

export SCALA_HOME=/home/hadoop/module/scala-2.12.15
export PATH=$PATH:$SCALA_HOME/bin

在这里插入图片描述

5、启动Scala

scala

在这里插入图片描述使用：quit就能退出

六、spark安装

1、下载spark

https://archive.apache.org/dist/spark/spark-3.1.2/
在这里插入图片描述

2、将下载的安装包上传到虚拟机

在这里插入图片描述

3、解压安装

tar -zxf spark-3.1.2-bin-without-hadoop.tgz -C /home/hadoop/module/

在这里插入图片描述

4、添加环境变量

export SPARK_HOME=/home/hadoop/module/spark-3.1.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

在这里插入图片描述

5、修改文件spark-env.sh、works

cp spark-env.sh.template spark-env.sh
cp workers.template workers

在这里插入图片描述

export JAVA_HOME=/home/hadoop/module/jdk1.8.0_221
export HADOOP_HOME=/home/hadoop/module/hadoop-3.3.1
export HADOOP_CONF_DIR=/home/hadoop/module/hadoop-3.3.1/etc/hadoop
export SPARK_MASTER_IP=192.168.241.101
export SPARK_DIST_CLASSPATH=$(/home/hadoop/module/hadoop-3.3.1/bin/hadoop classpath)

在这里插入图片描述 works

6、spark启动

start-dfs.sh
start-yarn.sh
start-master.sh
./sbin/start-slave.sh spark://Master001:7077

在这里插入图片描述启动master后查看网页http://192.168.241.101:8080/

在这里插入图片描述然后再启动works，启动 worker 时需要 master 的参数，该参数为spark://Master001:7077

查看进程
在这里插入图片描述

7、启动spark-shell

spark-shell

执行如下命令启动Spark Shell连接到YARN集群管理器上

./bin/spark-shell --master yarn

在这里插入图片描述 ## 8、spark编程练习
在Spark-shell中读取本地文件“/home/hadoop/test.txt”，统计文件行数
## 9、安装sbt或maven
使用 Scala 编写的程序需要使用 sbt或Maven 进行编译打包

sbt下载

https://www.scala-sbt.org/download.html

在这里插入图片描述解压sbt,将bin目录下的sbt-launch,jar复制到/home/hadoop/module/sbt/中
编辑./sbt

SBT_OPTS=“-Xms512M -Xmx1536M -Xss1M -XX:+CMSClassUnloadingEnabled -XX:MaxPermSize=256M”
java $SBT_OPTS -jar dirname $0/sbt-launch.jar “$@”

为 ./sbt 脚本增加可执行权限

chmod u+x ./sbt

运行如下命令，检验 sbt 是否可用

./sbt sbtVersion

在这里插入图片描述

maven下载

https://dlcdn.apache.org/maven/maven-3/3.6.3/binaries/

在这里插入图片描述
maven安装

unzip apache-maven-3.8.3-bin.zip -d /home/hadoop/module/

在这里插入图片描述

！！！出现的问题！！！

1、Master001: ERROR: Unable to write in /home/hadoop/module/hadoop-3.3.1/logs. Aborting.

在这里插入图片描述

2、Warning: Permanently added ‘localhost’ (ECDSA) to the list of known hosts

在这里插入图片描述

3、root用户hadoop启动报错：Attempting to operate on hdfs namenode as root

4、执行yum install -y mysql-server mysql mysql-devel报错
为 repo ‘appstream’ 下载元数据失败 : Cannot prepare internal mirrorlist: No URLs in mirrorlist

在这里插入图片描述

5、Underlying cause: java.sql.SQLException : null, message from server: “Host ‘Master001’ is not allowed to connect to this MySQL server”

在这里插入图片描述

6、hadoop 不在 sudoers 文件中。此事将被报告

！！！解决！！！

1、权限不够，授予权限

sudo chmod 777 /home/hadoop/module/hadoop-3.3.1/logs/

2、设置免密登录
在这里插入图片描述
3、在环境变量中添加如下几个配置：

vi /etc/profile

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=roo

使环境变量生效

source /etc/profile

4、可以在/etc/yum.repos.d中更新一下源。使用vault.centos.org代替mirror.centos.org。
执行一下两行代码进行修改

sudo sed -i -e "s|mirrorlist=|#mirrorlist=|g" /etc/yum.repos.d/CentOS-*
sudo sed -i -e "s|#baseurl=http://mirror.centos.org|baseurl=http://vault.centos.org|g" /etc/yum.repos.d/CentOS-*

5、进入mysql，更新权限
在这里插入图片描述

update user set host ='%' where user ='root';

重启mysql：

service mysqld stop;
service mysqld start;

6、用root身份登录，然后执行如下命令：

visudo

在打开的文件中，找到下面这一行：
root ALL=(ALL) ALL
并紧帖其下面，添上自己的用户名，比如：hadoop
hadoop ALL=(ALL) ALL

如果只做到这一步，然后保存退出，那么就能使用sudo命令了，但是此时需要输入root密码才可以。要让执行时不需要输入密码，再找到下面这一句：
#%wheel ALL=(ALL) NOPASSWD: ALL
将#号去掉，使其生效。
在这里插入图片描述

接着我们执行如下命令，将用户"hadoop"加入到"wheel"组中

gpasswd -a hadoop wheel

在这里插入图片描述

3+2=小5？

关注

2
点赞
踩
16

收藏

觉得还不错? 一键收藏
1
评论
VMware环境配置

vmware环境配置：JDK、Hadoop、hive、sredis、spark、Scala等
复制链接

扫一扫

专栏目录

VMware环境配置

文章目录

一、环境配置

1、修改主机名，然后切换到root用户

2、确认主机网关

a.确认windows主机网关

b.确认虚拟机主机网关

3、修改网络配置

4、设置DNS域名解析的配置文件resolv.conf。

5、修改hosts文件

6、重启网络服务

7、验证网络服务

a.虚拟机ping百度

b.主机ping虚拟机

二、Hadoop伪分布式安装

1、创建hadoop用户

a.新建用户

b.添加用户组

c.赋予root权限

2、切换到hadoop，创建压缩包上传文件和安装文件目录

3、上传压缩包

4、解压jdk和hadoop

5、配置jdk、hadoop环境变量

6、修改hadoop配置文件

core-site.xml

hdfs-site.xml

hadoop-env.xml

7、执行NameNode的格式化

8、配置免密登录

9、启动hadoop集群

三、hive安装

1、上传安装包

2、上传安装包并解压

3、将hive添加到环境变量

4、修改hive配置文件

Hive.env.xml

Hive.site.xml

hive-log4j2.properties

5、安装mysql

6、配置Hive相关配置文件

7、初始化hive

8、Hive启动

四、redis安装

1、下载

2、解压redis

3、安装gcc

4、安装make命令

5、执行make命令

6、执行make install

7、查看安装目录

8、启动

9、修改redis.conf

a. 先备份redis.conf， 比如cp redis.conf redis.conf1

b.再配置 redis.conf , 将daemonize no 修改为 daemonize yes

10、后台启动

11、启动客户端

五、Scala安装

1、下载

2、上传到虚拟机

3、安装

4、添加环境变量

5、启动Scala

六、spark安装

1、下载spark

2、将下载的安装包上传到虚拟机

3、解压安装

4、添加环境变量

5、修改文件spark-env.sh、works

6、spark启动

7、启动spark-shell

sbt下载

maven下载

！！！出现的问题！！！

！！！解决！！！

a. 先备份redis.conf，比如cp redis.conf redis.conf1