2024年最全在ubuntu上安装hadoop完分布式_ubuntu23(2)

最新推荐文章于 2024-05-17 15:05:47 发布

2401_84182507

最新推荐文章于 2024-05-17 15:05:47 发布

阅读量914

点赞数 23

分类专栏：程序员文章标签：分布式 ubuntu hadoop

本文链接：https://blog.csdn.net/2401_84182507/article/details/138405799

版权

程序员专栏收录该内容

131 篇文章 0 订阅

订阅专栏

本文详细指导了如何在Hadoop环境中设置超级权限、管理sudoers文件、关闭和禁用防火墙、分配IP地址、设置hostname映射、配置SSH免密登录、安装JDK和Hadoop、以及进行分布式配置和namenode格式化，旨在提供一个完整的系统化学习资料。

摘要由CSDN通过智能技术生成

su hadoop

允许hadoop用户使用超级权限（superprivileges，也称root权限）

注意：默认情况下，不允许普通用户使用超级权限，如果以sudo

作为开头输入指令，会出现如下提示，告知当前用户不在允许使用超级权限的文件内。

需要将当前用户添加到sudoers文件中。

切换到root用户

su -

编辑/etc/sudoers文件

vi /etc/sudoers

移动到文件底部，在rootALL=(ALL) ALL下添加：

[username]ALL=(ALL) ALL

添加后强制保存:wq! 退出。使用exit指令退出root用户（会返回到hadoop用户）

exit

4. 关闭防火墙**（3个虚拟机都设置）**

查看防火墙运行状态，返回running表示防火墙正在运行中。

sudo ufw status

临时关闭防火墙（系统重启后防火墙又会自动启动）

sudo systemctl stop ufw.service

需要禁止防火墙自动启动（永久关闭）

sudo systemctl disable ufw.service

查看防火墙运行状态，返回running表示防火墙正在运行中。

sudo ufw status

如果终端输出“Status: inactive”，则表示防火墙已成功关闭。

(5)设置IP地址**（3个虚拟机都设置）**

注意：网段必须与VMnet8子网IP的网段保持一致，网段中xxx.xxx.xxx.1和xxx.xxx.xxx.2（网关（GATEWAY））这两个地址不能使用。例：本机的VMnet8网段为192.168.56.0，则192.168.56.1和192.168.56.2不能使用。可选的IP地址范围为：192.168.56.3-192.168.56.255。

IP地址分配计划

master 192.168.56.3

slave1 192.168.56.4

slave2 192.168.56.5

有命令和窗口页面两种操作方式

窗口页面操作

点击设置（setting）

按照下面的图片内容填写

查看IP地址

ip addr show

6)设置每台主机hostname到IP的映射关系****3个虚拟机都设置）

sudo vi /etc/hosts

**（**在配置文件中追加3行

192.168.126.3 master

192.168.126.4 slave1

192.168.126.5 slave2

测试hostname是否可用

sudo vi /etc/hosts

终止按钮

ctrl c

配置SSH免密登录

(1)生成秘钥对

ssh-keygen -t rsa

2）发送公钥 先发给自己（装完三个节点之后在发送给slave1、slave2）

将master节点上hadoop用户的公钥发给各个节点的hadoop用户（包括自己）

在这样说明一点，要将三台hadoop配置完毕之后在发送其它两台的，下面的代码

要在master节点下一行一行输入

正在途中还要输入yes，密码，

ssh-copy-id  -i  /home/hadoop/.ssh/id_rsa.pub hadoop@master

ssh-copy-id  -i  /home/hadoop/.ssh/id_rsa.pub hadoop@slave1（slave1节点装完在输入）

ssh-copy-id  -i  /home/hadoop/.ssh/id_rsa.pub hadoop@slave2（slave2节点装完在输入）

3）测试免密登录

ssh master

(1)安装jdk和hadoop

先解压文件

输入代码

jdk-8u301-linux-x64.tar.gz 是文件名，要改成自己的文件名

hadoop-2.10.1.tar.gz 是文件名，要改成自己的文件名

tar -zxvf jdk-8u301-linux-x64.tar.gz

tar -zxvf hadoop-2.10.1.tar.gz

移动至/usr/local 路径下

移动jdk

sudo mv jdk1.8.0_301 /usr/local/jdk1.8.0

移动hadoop

sudo mv hadoop-2.10.1 /usr/local/

安装 vim 编辑器，不安装的话可以使用自带的 vi 编辑器

（功能相对少）

sudo apt install vim

打开环境变量配置文件

sudo vim /etc/profile

在文件末尾插入以下定义

export JAVA_HOME=/usr/local/jdk1.8.0

export HADOOP_HOME=/usr/local/hadoop-2.10.1

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

按Esc

然后输入

：wq

$ source /etc/profile

测试是否配置成功

测试Hadoop是否安装完成

hadoop version

测试Java是否安装完成

java -version

配置Hadoop

建立保存临时目录的路径

sudo mkdir -p /usr/data/hadoop/tmp

Hadoop 默认启动的时候使用的是系统下的 /temp 目录下,但是在每一次重启的时候系统都会将其自动清空 ,如果没有临时的储存目录有可能会在下一次启动 Hadoop 的时候出现问题。

为防止 Hadoop 运行时出现权限的问题，需要将/usr/data 目录及其子目录的拥有者全部从 root 改为用户名。（这里以本机用户名 silin 为例。）

sudo chown sillin:silin -R /usr/data

(4)Hadoop分布式配置（master节点）

进入hadoop安装文件下的/etc/hadoop/文件夹中。

cd  /usr/local/hadoop-2.10.1/etc/hadoop

配置hadoop-env.sh脚本文件

将${JAVA_HOME}改为jdk的实际安装路径

vi hadoop-env.sh

将${JAVA_HOME}改为jdk的实际安装路径

配置core-site.xml配置文件

vi core-site.xml

<configuration>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/data/hadoop/tmp</value>

</property>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hostname:9000</value>

</property>

</configuration>

配置hdfs-site.xml的配置文件

vi hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>2</value>

     </property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

将mapred-site.xml.template更名为mapred-site.xml并编辑

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

配置yarn-site.xml

vi yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hostname</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>