Hadoop 1.2.1分布式集群搭建

最新推荐文章于 2023-09-14 22:32:45 发布

liuyuan185442111

最新推荐文章于 2023-09-14 22:32:45 发布

阅读量1.3k

点赞数

分类专栏： Old Hadoop 文章标签： Hadoop

本文链接：https://blog.csdn.net/liuyuan185442111/article/details/43704897

版权

Old Hadoop 专栏收录该内容

20 篇文章 0 订阅

订阅专栏

项目	详细
集群规模	3
主节点命名	master
从节点命名	salve1，slave2
宿主机环境	Window 7 Ultimate SP1
虚拟机版本	VirtualBox-4.3.10-92957-Win.exe
master操作系统	CentOS-6.5-i386-LiveCD.iso
master存储	1G内存，24G硬盘
slave操作系统	CentOS-6.5-i386-minimal
slave存储	512M内存，20G硬盘
jdk版本	jdk-8u25-linux-i586.rpm
hadoop版本	hadoop-1.2.1-bin.tar.gz

解压好的Hadoop就处于单机模式，此时输入输出目录都为本机文件系统。
所谓伪分布式模式不过是集群节点数量为0。
因此这里直接说明Hadoop完全分布式模式的配置。

master节点的系统设置

1.建立一个用户

建立一个普通用户来进行日常操作：

useradd tom
passwd tom

2.关闭防火墙和SELinux

为研究方便，关闭系统防火墙。
在一般情况下，我们不需要SELinux复杂的保护，所以将其设置为无效的状态。
关闭防火墙：

service iptables stop
service ip6tables stop
chkconfig iptables off
chkconfig ip6tables off

关闭SELinux：
修改/etc/sysconfig/selinux

SELINUX=enforcing
↓
SELINUX=disabled

接着执行如下命令

setenforce 0
getenforce

3.修改hostname和hosts

将/etc/sysconfig/network內的HOSTNAME改成master，下次启动时hostname就会更改为master；
执行”hostname master”命令，临时修改hostname为master；
用exit命令退出shell，再次登录。

在/etc/hosts文件中，添加以下三行内容（IP视具体情况而定）：

192.168.1.131 master
192.168.1.132 slave1
192.168.1.133 slave2

4.开启sshd服务

系统安装好之后，如果没有开启sshd服务，则将其开启：

service sshd start
chkconfig sshd on

5.设置ssh免密码登录

切换到tom用户，执行以下命令生成密钥对：

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

ssh-keygen代表生成密钥；-t表示指定生成的密钥类型；-P用于提供密语；-f指定生成的密钥文件。
这个命令会在.ssh文件夹下创建id_dsa及id_dsa.pub两个文件，这是一对私钥和公钥，把id_dsa.pub（公钥）追加到授权的key中去。

ssh-copy-id master

此命令将id_dsa.pub内容添加到~/.ssh/authorized_keys的末尾。

6.关闭不需要的服务

使用下面命令进行关闭不需要的服务：

for SERVICES in bluetooth cpuspeed mdmonitor postfix udev-post; do chkconfig ${SERVICES} off; done

注意：haldaemon和messagebus不要关闭，关闭后键盘鼠标无响应。
查看已开启服务：

chkconfig --list | grep "3:on"

slave节点的系统配置

1.同master节点的设置

新建用户tom
关闭防火墙，关闭SELinux，关闭不需要的服务
修改hostname和hosts文件

2.网络连接问题

网卡接口关闭与激活：

ifdown eth0   #关闭网络
ifup eth0     #启动网络

设置网卡开机启动：
编辑/etc/sysconfig/network-scripts/ifcfg-eth0

onboot=yes

3.复制另一个slave

在做完系统配置，安装配置完jdk和hadoop后，我使用virtualbox的复制功能，复制另一个slave节点，注意需要更改其网络地址。但是在复制的slave2上执行ifup eth0后提示：device eth0 does not seem to be present, delaying initialization。
解决方法如下：
1. 将/etc/sysconfig/network-scripts/ifcfg-eth0里的MAC地址一行删掉
2. 删除/etc/udev/rules.d/70-persistent-net.rules
3. 重启机器

4.使master可以无密码登录slave

这个操作是在master端执行的，将生成的公钥添加到authorized_keys中，并将authorized_keys上传到slave的.ssh中。

scp ./.ssh/authorized_keys slave1:~/.ssh/
scp ./.ssh/authorized_keys slave2:~/.ssh/

安装jdk

1.rpm方式安装

先从oracle网站下载jdk-8u25-linux-i586.rpm，执行以下命令安装jdk：

rpm -ivh jdk-8u25-linux-i586.rpm

所有文件安装于“/usr/java”目录下，其目录结构如下：
java目录结构
default指向实际的jdk目录，jdk版本升级时，只需要修改default即可，无需做其他改动。
另外安装程序在/usr/bin下创建了几个链接：
符号链接

2.添加Java环境变量

在“/etc/profile”文件的尾部添加以下内容：

# set java environment
export JAVA_HOME=/usr/java/default
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin

执行下面命令使其配置立即生效：

source /etc/profile

注意，source只对当前用户有效，所以需要先切换到tom用户再执行。

安装Hadoop 1.2.1

1.源码方式安装

先下载hadoop-1.2.1-bin.tar.gz，然后进行安装：

su -
mv hadoop-1.2.1-bin.tar.gz /usr/
cd /usr/
tar -zxvf hadoop-1.2.1-bin.tar.gz
mv hadoop-1.2.1 hadoop
chown -R tom:tom hadoop

2.加入环境变量

在“/etc/profile”末尾添加：

# set hadoop path
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

使配置生效：

source /etc/profile

安装jdk和hadoop的总结

执行以下命令：

su -
rpm -ivh jdk-8u25-linux-i586.rpm
mv hadoop-1.2.1-bin.tar.gz /usr/
cd /usr/
tar -zxvf hadoop-1.2.1-bin.tar.gz
mv hadoop-1.2.1 hadoop
chown -R tom:tom hadoop

在实践中我发现前两节中有些环境变量不是必须配置的，最终在“/etc/profile”末尾添加这些即可：

# java and hadoop environment
export CLASSPATH=.:/usr/java/default/jre/lib/rt.jar:/usr/java/default/lib/dt.jar:/usr/java/default/lib/tools.jar
export PATH=$PATH:/usr/java/default/bin:/usr/hadoop/bin

然后使配置生效：

source /etc/profile

配置Hadoop

Hadoop配置文件在conf目录下，由于Hadoop发展迅速，代码量急剧增加，代码开发分为了core，hdfs和map/reduce三部分，配置文件也被分成了三个core-site.xml、hdfs-site.xml、mapred-site.xml。core-site.xml和hdfs-site.xml是站在HDFS角度上配置文件；core-site.xml和mapred-site.xml是站在MapReduce角度上配置文件。

1.配置hadoop-env.sh

hadoop-env.sh里定义了hadoop特定的环境变量，将第9行改为：

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun
↓
export JAVA_HOME=/usr/java/default

2.配置core-site.xml

core-site.xml是核心配置文件，这里配置的是HDFS的地址和端口号。
先在/usr/hadoop目录下建立tmp文件夹，作为hadoop的临时目录。

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://master:9000</value>
    </property>
</configuration>

备注：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为/tmp/hadoo-hadoop。而这个目录在每次重启后都会被干掉，必须重新执行format才行，否则会出错。

3.配置hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
<configuration>

4.配置mapred-site.xml

配置的是JobTracker的地址和端口。

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>http://master:9001</value>
    </property>
</configuration>

5.配置masters

master

masters这个文件配置的是SecondaryNameNode的地址，slave节点其实不需要这个配置文件。

6.配置slaves

slave01
slave02

7.slave节点

将这6个配置文档覆盖salve1和slave2的配置文档。

8.启动及验证

1）格式化HDFS文件系统
只需一次，下次启动不再需要格式化。

hadoop namenode -format

2）启动hadoop

start-all.sh

3）验证hadoop
验证方式一：用“jps”命令
验证方式二：用“hadoop dfsadmin -report”
用这个命令可以查看Hadoop集群的状态。
验证方式三：通过web接口查看
通过浏览器访问master:500030和master:500070可浏览到MapReduce和namenode的页面。
4）关闭hadoop

stop-all.sh

执行一个wordcount

将两个本地的文件拷贝到hdfs上，调用hadoop示例程序wordcount对其进行单词统计。

echo “hello world” > file01
echo “hello hadoop” > file02
hadoop fs -mkdir input
hadoop fs -copyFromLocal ./file0* input
hadoop jar /usr/hadoop/hadoop-examples-1.2.1.jar wordcount input output
hadoop fs –cat user/root/output/part-r-00000