centos7下搭建hadoop

最近刚刚学习了安装hadoop，在这里分享一下

首先配置我们的网卡，首先在主目录下进入 etc/sysconfig/network-scripts/，然后ls查看目录下的文件，找到自己的网卡，我的是图下标记的这个：

Vi进入文件，按i编辑，默认动态ip，改为静态，在文件后添加4行配置代码，结果如下：

保存并退出。

重启网卡：systemctl restart network

修改主机名和主机映射：

vi etc/hostname  将默认改为自己的名字，保存并退出

vi etc/hosts  追加自己的ip地址后加自己的名字

如果想让自己的系统认识自己，在c:/windows/system32/drivers/etc/hosts文件中添加自己ip地址后加自己的名字

 

安装jdk和hadoop

上传jdk和hadoop解压到opt文件夹

Vi到主目录bashrc文件里配置环境变量：

配置完环境变量就该配置hadoop文件了，目录在opt/hadoop-2.7.5/etc/hadoop/下：

今天配置的是伪分布式，指的一台计算机模拟多台电脑，扮演多个角色：

Namenode  datanode   secondarynamenode  resoircenanater   nodenanager

配置的是以下文件：

core-site.xml

hdfs-site.xml

mapred-site.xml

yarn-site.xml

slaves文本文件

首先配置core-site.xml:

在configuration标签里添加：

<property>

 <name>fs.defaultFS</name>

 <value>hdfs://he:9000</value>

</property>

 

修改hdfs-site.xml（hadoop默认备份数是3份，这里改成一份）

<property>

 <name>dfs.replication</name>

 <value>1</value>

</property>

修改存储路径

<property>

 <name>dfs.namenode.name.dir</name>

 <value>file:///home/hadoop/opt/tmp/dfs/name</value>

</property>

<property>

 <name>dfs.datanode.name.dir</name>

 <value>file:///home/hadoop/opt/tmp/dfs/data</value>

</property>

<property>

 <name>dfs.namenode.http-address</name>

 <value>he:50070</value>

</property>

 

修改mapred-site.xml文件：

cp mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

启用yarn的资源调度框架

<property>

 <name>mapreduce.framework.name</name>

 <value>yarn</value>

</property>

 

修改slaves

配置datanode的主机名称

将localhost改为he（就是自己的名字）

 

修改yarn-site.xml

配置yarn的主机

<property>

 <name>yarn.resourcemanager.hostname</name>

 <value>he</value>

</property>

<property>

 <name>yarn.nodemanager.aux-services</name>

 <value>he</value>

</property>

 

切换root用户，关闭selinux  ：进入etc/selinux/config,修改selinux：

 

关闭防火墙：

临时关闭：systemctl stop firewalld

永久关闭：systemctl disable firewalld

查看防火墙状态：systemctl status firewalld

退出管理员用户:exit

执行hdfs文件系统格式化:hdfs namenode -format

只要状态为0就成功

重启机器reboot

 

配置无密码登录：

ssh-keygen -t rsa

一直敲回车

当前主体目录下多了.ssh文件和目录

如果想无密码登录到那台机器执行

ssh-copy-id 你想登录到的计算机名

实现了无密码登录

 

接下来start-all 完之后jps，能看到5个节点就对了

在浏览器中输入he：550070，就会看到如下界面：

至此hadoop配置成功