Linux下Hadoop伪分布式安装及配置步骤

目录

一、关闭防火墙

二、绑定主机名与ip地址

三、设置ssh免密登录

四、安装jdk

五、安装配置Hadoop

（1）上传到Linux后解压安装：

（2）配置hadoop

*配置hadoop-env.sh文件

*配置core-site.xml文件

*配置hdfs-site.xml 文件

*配置mapred-site.xml 文件 

*配置yarn-site.xml文件

六、配置hadoop环境变量

（1）使用root用户

（2）到hadoop安装用户下：

（3）格式化hdfs

七、启动伪分布

八、验证hadoop9870、8088端口

---

实现hadoop伪分布的配置，提供配置环境的搭建以及安装压缩包。

一、关闭防火墙

关闭防火墙（root用户）
临时：service iptables stop
查看状态：service iptables status

永久：chkconfig iptables off
查看状态：chkconfig --list | grep iptables

二、绑定主机名与ip地址

vim /etc/hosts

（注意使用root用户，自己的ip与主机名，中间空格）

三、设置ssh免密登录

ssh-keygen -t rsa
cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证：ssh yourhostname

（一直回车就ok）

 测试一下：

（不需要密码，设置成功） 

四、安装jdk

参考：http://t.csdnimg.cn/l0dQv

五、安装配置Hadoop

这里网盘地址可下载：

链接：https://pan.baidu.com/s/1wjU-7AuqvVm5oD-4VUyU7g 

提取码：gves

（1）上传到Linux后解压安装：

tar -zxvf hadoop-3.3.0.tar.gz

 

（2）配置hadoop

进入hadoop-3.3.0/etc/hadoop/目录下

cd hadoop-3.3.0/etc/hadoop/

*配置hadoop-env.sh文件

vim hadoop-env.sh

添加内容 （自己的jdk安装路径）

export JAVA_HOME=/home/hadoop/soft/jdk1.8

*配置core-site.xml文件

vim core-site.xml

 添加内容

<property>
<name>fs.defaultFS</name>
<value>hdfs://主机名:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/soft/hadooptmp</value>
</property>

（注意创建对应的hadooptmp文件夹：mkdir hadooptmp）

*配置hdfs-site.xml 文件

vim hdfs-site.xml

添加内容

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

*配置mapred-site.xml 文件 

vim mapred-site.xml 

添加内容

 <property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

 

*配置yarn-site.xml文件

vim yarn-site.xml

 添加内容

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

 

六、配置hadoop环境变量

（1）使用root用户

vim /etc/profile

 内容：

export HADOOP_HOME=/home/hadoop/soft/hadoop-3.3.0
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

（2）到hadoop安装用户下：

source /etc/profile

（3）格式化hdfs

hadoop namenode -format

 （查看hadooptmp目录如下，格式化成功）

 

七、启动伪分布

start-all.sh 

 查看节点：

八、验证hadoop9870、8088端口

192.168.43.41:9870

192.168.43.41:8088

(ip:端口)

HDFS NameNode 对用户的查询端口：9870

Yarn查看任务运行情况的端口：8088