HADOOP完全分布式安装总结

2019独角兽企业重金招聘Python工程师标准>>>

hadoop1.x完全分布式安装

与伪分布式安装的主要区别：

主要是ssh免密码登陆部分有所区别。伪分布式所有节点位于一台主机，一次免密码登陆实际上是免密码登陆本机；完全分布式要求免密码登陆集群内所有机器。

hadoop1.x完全分布式安装步骤（虚拟机环境下）：

 0.安装建议：

        在多次安装之后个人推荐使用CentOS安装，网络连接方式使用桥接（后来看到NAT的貌似更合理，但没有尝试）。在使用ubuntu桌面版本期间网络连接不稳定，无规律出现宿主机与虚拟机无法连接的状况。

    ubuntu桌面版的好处：不用关闭iptables、selinux；额外步骤：开启root用户

    CentOS我使用的是最简版，以下以CentOS最简版本安装为例介绍。

1. 安装前准备工作：

   1. 安装虚拟机和Linux

   2. 安装jdk（建议配置环境变量）、下载解压Hadoop

   3. 关闭linux的iptables、seLinux（chkconfig iptables off、/etc/selinux/config）

   4. 设置静态IP（/etc/sysconfig/network-scripts/ifcfg-eth0、/etc/resolv.conf）

   5. 重启网络（/etc/init.d/network restart）

   6. 修改主机名（/etc/sysconfig/network）

   7. 配置hosts（/etc/hosts）

   8. 配置yum源/etc/yum.repos.d/yum.repo

          静态IP配置文件示例：

DEVICE=eth0
ONBOOT=yes
BOOTPROTO=none
IPADDR=192.168.1.120
NETMASK=255.255.255.0
GATEWAY=192.168.1.1

            yum文件配置示例：

[name]
name=myyum
baseurl=http://mirrors.163.com/centos/6.5/os/x86_64
gpgcheck=0

    2. 配置免密码ssh登陆

ssh-keygen -t rsa
cd ~/.ssh
scp ./id_rsa.pub root@192.168.1.112:/root/.ssh/authorized_keys

       1.>生成ssh密钥位于~/.ssh文件夹

       2.>将公钥复制的集群内某一主机（注意后面的位置与自己机器设置保持一致）

       3.>集群内所有主机重复1.>,将所有公钥集中存储在一台机器的anthorized_keys文件

       4.>将存有所有主机公钥的authorized_keys文件复制到集群所有主机

    3. 修改Hadoop配置文件

        所有配置文件位于hadoop安装目录下的conf目录下

        注意：所有配置文件仅仅是示例，具体内容应与自己集群的设置保持一致

        1.>hadoop-env.sh（修改jdk安装位置即可）

        2.>core-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
		<name>fs.default.name</name>
		<value>hdfs://backup01:9000</value>
	</property>
	
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/usr/local/hadoop_tmp</value>
	</property>
</configuration>

        3.>hdfs-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>2</value>	
	</property>
</configuration>

        4.>mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
		<name>mapred.job.tracker</name>
		<value>backup01:9001</value>
	</property>
</configuration>

        5.>master（写入主节点主机名）

        6.>slaves（写入从节点主机名）

    4. 启动前工作

        1.>SCP命令复制hadoop文件夹至集群所有主机

        2.>格式化namenode：

$HADOOP_HOME$/bin hadoop namenode -format

        注意：不要重复格式化

    5. 启动Hadoop集群

 $HADOOP_HOME$/bin start-all.sh

如果没有什么异常。至此，Hadoop1.x完全分布式安装完成。

hadoop2.x安装

与hadoop1.x安装类似，主要不同集中在配置文件和启动方式，修改配置文件之前工作于安装hadoop1.x一致

修改配置文件：

7个配置文件

hadoop/etc/hadoop/hadoop-env.sh（选择jdk）

hadoop/etc/hadoop/yarn-sev.sh（选择jdk）

hadoop/etc/hadoop/slaves（写入从节点）

hadoop/etc/hadoop/core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://h1:9000</value>
	</property>
	<property>
		<name>io.file.buffer.size</name>
		<value>131072</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>file:/usr/local/hadoop/tmp</value>
	</property>
	<property>
		<name>hadoop.proxyuser.hduser.hosts</name>
		<value>*</value>
	</property>
	<property>
		<name>hadoop.proxyuser.hduser.groups</name>
		<value>*</value>
	</property>
</configuration>

hadoop/etc/hadoop/hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>h1:9001</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>file:/usr/local/hadoop/name</value>	
	</property>
	<property>
		<name>dfs.namenode.data.dir</name>
		<value>file:/usr/local/hadoop/data</value>
	</property>
	<property>
		<name>dfs.replication</name>
		<value>2</value>
	</property>
	<property>
		<name>dfs.webhdfs.enabled</name>
		<value>true</value>
	</property>
</configuration>

hadoop/etc/hadoop/mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>h1:10020</value>	
	</property>
	<property>
		<name>mapredece.jobhistory.webapp.address</name>
		<value>h1:19888</value>
	</property>
</configuration>

hadoop/etc/hadoop/yarn-site.xml

<?xml version="1.0"?>
<configuration>
<!-- Site specific YARN configuration properties -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<property>
		<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
		<value>org.apache.hadoop.mapred.ShuffleHandler</value>
	</property>
	<property>
		<name>yarn.resourcemanager.address</name>
		<value>h1:8032</value>
	</property>
	<property>
		<name>yarn.resourcemanager.scheduler.address</name>
		<value>h1:8030</value>
	</property>
	<property>
		<name>yarn.resourcemanager.resource-tracker.address</name>
		<value>h1:8031</value>
	</property>
	<property>
		<name>yarn.resourcemanager.admin.address</name>
		<value>h1:8033</value>
	</property>
	<property>
		<name>yarn.resourcemanager.webapp.address</name>
		<value>h1:8088</value>
	</property>
</configuration>

 格式化namenode：

./bin/hdfs namenode –format

启动hadoop:

 ./sbin/start -all.sh

总结写的很仓促，可能不够详尽，甚至有内容错误，希望发现的朋友及时指正。

很久不使用CentOS，对OS的基本命令和设置遗忘甚多，感谢舍长的帮助让我顺利完成安装。

参考资料：

Hadoop MapReduce Cookbook

Hadoop基础教程

其他来自互联网的资料

转载于:https://my.oschina.net/u/1470003/blog/270772