hadoop伪分布式的安装搭建(Hadoop-2.7.3+jdk1.8+centos6.5)

安装4台主机模拟Hadoop工作环境:

主机                                    ip                        账号密码

master                      192.168.40.100 -------hadoop/hadoop

weekend001             192.168.40.101 -------hadoop/hadoop

weekend002             192.168.40.102 -------hadoop/hadoop

weekend003             192.168.40.103 -------hadoop/hadoop

安装步骤:

1.将网卡切换至nat模式并设置好网关

设置网段：192.168.40.0 子网掩码：255.255.255.0 -> apply -> ok

                                                

2.安装centos6.5

a.关闭防火墙(在root权限下)----------centos6.5

 #查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables --list
#关闭防火墙开机启动
chkconfig iptables off

/补充一点centos7的防火墙关闭方式与centos6.5不同//

关闭方法为

systemctl stop firewalld.service #停止firewall

systemctl disable firewalld.service #禁止firewall开机启动

b.修改ip (建议在图形用户界面下修改)

终端下修改的方法

vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE="eth0"
BOOTPROTO="static"               ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.40.100"           ###
NETMASK="255.255.255.0"          ###
GATEWAY="192.168.40.2"            ###--------------------------------请与vmware配置时的输入一一对应上

c.将创建的用户添加到sudoers的列表下

切换到root账户，修改/etc/sudoers文件，增加：hadoop  ALL=(ALL)  ALL

d. 修改/etc/hosts 文件，增加4台机器的ip和hostname的映射关系

e.修改主机名

sudo vi /etc/sysconfig/network--------------------------------每个节点都要修改

sudo hostname master

//即可将主机名改为hadoop

重启生效

3.安装jdk
在hadoop文件夹下创建APP文件夹
mkdir /home/hadoop/app
通过ftp服务器将jdk文件,hadoop文件,eclipse等文件上传至虚拟机.
a. 解压jdk
tar -zxvf jdk-8u111-linux-x64.tar.gz -C /home/hadoop/app


b.sudo vim /etc/profile
在文件末尾添加
export JAVA_HOME=/home/hadoop/app/jdk1.8.0_111
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

c.刷新
source /etc/profile
d.验证配置

4.安装配置hadoop
a.tar -zvxf hadoop-2.7.3.tar.gz -C /home/hadoop/app
b.sudo vim /etc/profile
在文件末尾添加
export HADOOP_HOME=/home/hadoop/app/hadoop-2.7.3
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin(修改)

c.刷新配置文件
source /etc/profile
d.验证配置文件
hadoop version

5.修改配置文件(7个)

注意：hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop

配置之前，需要在app本地文件系统创建以下文件夹：

a.hadoop-env.sh

[hadoop@master hadoop]$ echo $JAVA_HOME
/home/hadoop/app/jdk1.8.0_111
[hadoop@master hadoop]$ vi hadoop-env.sh

-----在第25/26行

 

b.core-site.xml

<code class="hljs xml has-numbering" style="display: block; padding: 0px; background: transparent; color: inherit; box-sizing: border-box; font-family: "Source Code Pro", monospace;font-size:undefined; white-space: pre; border-radius: 0px; word-wrap: normal;"><configuration>

 <property>
<!-- 指定hadoop运行时产生文件的存储目录 -->
 <name>hadoop.tmp.dir</name>
 <value>/home/hadoop/tmp</value>
 </property>
<!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->
 <property>
 <name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
 <property>  

 <name>io.file.buffer.size</name>
 <value>131072</value>
 </property>
</configuration>
</code>

c.hdfs-site.xml

<configuration>
<!-- 指定HDFS副本的数量 -->
                <property>
                <name>dfs.replication</name>
                <value>1</value>
                </property>
</configuration>
<pre name="code" class="plain"><property>
 <name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>

         <property>
 <name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/hdfs/name</value>
 </property>

           <property>
<name>dfs.datanode.data.dir</name>
 <value>file:/home/hadoop/hdfs/data</value>
 </property>

<property>
 <name>dfs.webhdfs.enabled</name>
    <value>true</value>
 </property>

d.mapred-site.xml

需要重命名： mv mapred-site.xml.template mapred-site.xml

<!-- 指定mr运行在yarn上 -->
		<property>
			<name>mapreduce.framework.name</name>
			<value>yarn</value>
    </property>
<pre name="code" class="plain"><property>
 <name>mapreduce.jobhistory.address</name>
<value>master:10020</value>
 </property>
  
  <property>
  <name>mapreduce.jobhistory.webapp.address</name>              
  <value>master:19888</value>
  </property>

e.yarn-site.xml

<!-- 指定YARN的老大（ResourceManager）的地址 -->
		<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>master</value>
    </property>
		<!-- reducer获取数据的方式 -->
    <property>
			<name>yarn.nodemanager.aux-services</name>
			<value>mapreduce_shuffle</value>
     </property>

f.yarn-env.sh

g.vi slaves/master(需新建)

vi master

master

6.配置三台datanode节点

a.复制虚拟机

b.修改ip地址

c.修改主机名及配置文件

----------退出重新登录生效

d.互通验证

e.为节约资源关闭图形用户界面

sudo vi /etc/inittab--------------由5改为3,重启生效.

7.ssh免秘钥登录

a.查看SSH是否安装。

输入命令：rpm -qa | grep ssh

注：若没安装SSH则可输入：yum install openssh-server安装。

sodu apt-get install ssh(ubuntu)

b.生成公钥

安装完成后会在~目录（当前用户主目录，即这里的/home/hadoop）下产生一个隐藏文件夹.ssh（ls  -a 可以查看隐藏文件）。如果没有这个文件，自己新建即可（mkdir .ssh）。

具体步骤如下：

1、 进入.ssh文件夹

2、 ssh-keygen -t  rsa 之后一路回 车（产生秘钥）

3.cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 

c. chmod 600 ~/.ssh/authorized_keys

d.scp ~/.ssh/id_rsa.pub  hadoop@192.168.40.102:~/.ssh(以此类推三台都要复制一遍)

生成authorized_keys.

cat id_rsa.pub >> authorized_keys

chmod 700 ~/.ssh

chmod 600 ~/.ssh/authorized_keys

e.ssh互通测试

8.启动

第一次启动得格式化

hdfs namenode -format或
hadoop namenode -format

启动dfs

start-dfs.sh

启动yarn

start-yarn.sh

9.测试

jps

master

datanode

http://192.168.40.100:50070/dfshealth.html#tab-overview

http://192.168.40.100:8088/cluster

可以看到一切正常。3个节点。

至此我们的4台hadoop运行