Hadoop伪分布模式配置

  Hadoop共有三种部署方式：本地模式，伪分布模式及集群模式；本次安装配置以伪分布模式为主，即在一台服务器上运行Hadoop（如果是分布式模式，则首先要配置Master主节点，其次配置Slave从节点）。以下说明如无特殊说明，默认使用root用户登录主节点，进行以下的一系列配置。

1、安装配置JDK
并配置环境变量，此处省略...

2、 SSH（Secure Shell）的免密码登录
 

[root@VM_0_3_centos ~]# ssh-keygen -t rsa
[root@VM_0_3_centos ~]# ls -a
.   .bash_history  .bash_profile  .cache   .cshrc             .pip  .pydistutils.cfg  .tcshrc
..  .bash_logout   .bashrc        .config  .oracle_jre_usage  .pki  .ssh              .viminfo

执行产生密钥命令：位于用户目录下的.ssh文件中（.ssh为隐藏文件，可以通过ls –a查看）

进入.ssh目录，拷贝验证文件：cp id_rsa.pub authorized_keys

[root@VM_0_3_centos ~]# cd .ssh/
[root@VM_0_3_centos .ssh]# ls
authorized_keys  id_rsa  id_rsa.pub  known_hosts
[root@VM_0_3_centos .ssh]# cp id_rsa.pub authorized_keys
cp: overwrite ‘authorized_keys’? y

验证：ssh localhost

[root@VM_0_3_centos .ssh]# ssh localhost
Last login: Mon Jun 11 10:49:26 2018 from 59.41.72.243

3、配置Hadoop相关环境变量：vi /etc/profile，

在其中增加一行：

export JAVA_HOME=/usr/software/java/jdk8
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export HADOOP_HOME=/home/svr/deploy/service/hadoop
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$PATH

生效环境变量：source /etc/profile
[root@VM_0_3_centos .ssh]# source /etc/profile

4、修改Hadoop的配置文件，它们位于$HADOOP_HOME/conf目录下。
/home/svr/deploy/service/hadoop/etc/hadoop
分别修改四个配置文件：
hadoop-env.sh、
core-site.xml、
hdfs-site.xml、
mapred-site.xml；

具体下修改内容如下：
1)hadoop-env.sh
 

export JAVA_HOME=/usr/software/java/jdk8

如果虚拟机内存低于1G，还需要修改HADOOP_HEAPSIZE（默认为1000）的值：
export HADOOP_HEAPSIZE=100

2)core-site.xml
在configuration中增加以下内容（其中的ip为机器IP地址）：
 

<property>
    <name>fs.default.name</name>
　　<value>hdfs://ip:9000</value>
　　<description>change your own hostname</description>
</property>
<property>
　　<name>hadoop.tmp.dir</name>
　　<value>/home/svr/deploy/service/tmp</value>
</property>

3)hdfs-site.xml
在configuration中增加以下内容：

设置nameNode节点和dataNode节点的存储目录：

name和data目录需要设置755权限，即：chmod -R 755 /name

<property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/svr/deploy/service/hdfs/name</value>
</property>
 
<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/svr/deploy/service/hdfs/data</value>
</property>
<property>
　<name>dfs.replication</name>
　<value>1</value>
</property>
<property>
　<name>dfs.permissions</name>
　<value>false</value>
</property>

4)mapred-site.xml
重命名：mv mapred-site.xml.template  mapred-site.xml
修改文件：vi mapred-site.xml
在configuration中增加以下内容（其中的ip为你机器的IP地址）：
 

<property>
　　<name>mapred.job.tracker</name>
　　<value>ip:9001</value>
　　<description>change your own hostname</description>
</property>

5、执行命令对Hadoop进行初始格式化：hadoop namenode -format
进入bin目录
 

[root@VM_0_3_centos bin]# cd /home/svr/deploy/service/hadoop/bin
[root@VM_0_3_centos bin]# hadoop namenode -format
DEPRECATED: Use of this script to execute hdfs command is deprecated.
Instead use the hdfs command for it.
...
18/06/12 16:47:22 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at VM_0_3_centos/127.0.0.1
************************************************************/

6、执行命令启动Hadoop：start-all.sh（一次性启动所有进程）
 

进入启动目录：
[root@VM_0_3_centos ~]# cd /home/svr/deploy/service/hadoop/sbin
[root@VM_0_3_centos sbin]# ./start-all.sh
[root@VM_0_3_centos hadoop]# jps
5694 SecondaryNameNode 
6070 Jps 
5384 NameNode 
5527 DataNode 
5848 ResourceManager 
5952 NodeManager

7、启动完成后可以查看管理界面：
http://118.24.29.250:50070/dfshealth.html#tab-overview

http://118.24.29.250:8088/cluster