hadoop伪分布式环境搭建

shiyuan_90

于 2017-01-01 22:18:30 发布

阅读量368

点赞数 1

分类专栏：学习

本文链接：https://blog.csdn.net/shiyuan_90/article/details/53968839

版权

学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

CentOS环境配置

配置IP

编辑文件：vim /etc/sysconfig/network-scripts/ifcfg-eno16777736
主机名
hostname文件：vim /etc/hostname，添加：centos1
hosts文件：vim /etc/hosts，添加：192.168.9.7 centos1
关闭防火墙
查看状态：service iptables status
关闭：service iptables stop
开机启动状态：chkconfig iptables –list
关闭开机启动：chkconfig iptables off

jdk安装

解压：tar -zxvf jdk-7u79-Linux-x64.tar.gz -C /usr/Java
添加到环境变量：vim /etc/profile，添加两行： export JAVA_HOME=/usr/Java/jdk1.7.0_79 export PATH=$PATH:$JAVA_HOME/bin，
让配置文件生效：source /etc/profile

hadoop安装

1.解压：tar -zxvf Hadoop-2.7.3.tar.gz -C /usr/Hadoop

2.修改配置：vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh，配置JAVA_HOME：export JAVA_HOME=/usr/java/jdk1.7.0_79

3.修改配置：vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml，添加：

 <configuration> 
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://centos1:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/hadoop/tmp</value>
        </property>
</configuration>
 
 1
2
3
4
5
6
7
8
9
10
 
 1
2
3
4
5
6
7
8
9
10
 
 1
2
3
4
5
6
7
8
9
10
 
 1
2
3
4
5
6
7
8
9
10

4.修改配置：vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml，添加：

 <configuration>
        <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>
</configuration>
 
 1
2
3
4
5
6
 
 1
2
3
4
5
6
 
 1
2
3
4
5
6
 
 1
2
3
4
5
6

5.修改配置：vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml，添加：

 <configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>
 
 1
2
3
4
5
6
 
 1
2
3
4
5
6
 
 1
2
3
4
5
6
 
 1
2
3
4
5
6

6.修改配置：vim /usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml，添加：

 <configuration>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>centos1</value>
        </property>
</configuration>
 
 1
2
3
4
5
6
7
8
9
10
 
 1
2
3
4
5
6
7
8
9
10
 
 1
2
3
4
5
6
7
8
9
10
 
 1
2
3
4
5
6
7
8
9
10

7.添加到环境变量：vim /etc/profile，添加两行： export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin，
让配置文件生效：source /etc/profile

8.初始化HDFS：hdfs namenode -format

9.启动HDFS和YARN：./start-all.sh，可以分别启动HDFS和YARN，验证：http://192.168.9.7:50070（hdfs管理界面）和http://192.168.9.7:8088（yarn管理界面）