Hadoop集群安装&测试

之前看过不少hadoop理伦的文章和书籍，一直想搭建一个集群玩玩，笔记本电脑不给力，给它加了一个4G内存后，在周末的时候，花了差不多一天的时间才把集群搭建好，中间也遇到了一些问题，还好最终搭建成功了，开始大数据之旅吧。

1. 安装JDK

1）首先要卸载掉默认安装的JDK

### 查看安装所有的JDK信息

rpm -qa | grep jdk

### 卸载掉JDK,xxx代表的是上个命令输出的结果

yum -y remove java xxx

2） 安装rz工具 在root权限下上传，不要勾选以ASCII码上传！！！

yum install lrzsz

3) 上传JDK之后进行安装JDK

tar -zxvf jdk-7u79-linux-x64.tar.gz

vi /etc/profile

#set java environment

JAVA_HOME=/usr/java/jdk1.7.0_79

JRE_HOME=/usr/java/jdk1.7.0_79/jre

CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

export JAVA_HOME JRE_HOME CLASS_PATH PATH

4）测试JDK

java -version

2. 节点配置，准备四个节点

vm01 192.168.141.128 master节点

vm02 192.168.141.129

vm03 192.168.141.130

vm04 192.168.141.131

1）在/etc/hostname下修改名字

2）在/etc/hosts下增加各个节点的名字

192.168.141.128 vm01

192.168.141.129 vm02

192.168.141.130 vm03

192.168.141.131 vm04

3）增加ssh 无密码登录

在master节点上执行 ssh-keygen -t rsa 一路回车键

cp id_rsa.pub authorized_keys

然后scp /root/.ssh/ vm02:/root/.ssh

scp /root/.ssh/ vm03:/root/.ssh

scp /root/.ssh/ vm04:/root/.ssh

此时再ssh登录任何一台机器都是ok的

3. master节点上安装hadoop

1）下载好hadoop，我使用的是2.7.1版本，通过rz命令上传后，解压

2）在master节点上进行配置

在hadoop-env.sh 文件中修改JDK路径和设置HADOOP_HEAPSIZE=128

core-site.xml 文件配置如下：

<property>

<name>fs.defaultFS</name>

<value>hdfs://vm01:9000</value>

<!--hadoop namenode 服务器地址和端口，以域名形式-->

</property>

<property>

<name>dfs.namenode.checkpoint.period</name>

<value>1800</value>

<!-- editlog每隔30分钟触发一次合并，默认为60分钟 -->

</property>

<property>

<name>fs.checkpoint.size</name>

<value>67108864</value>

</property>

<property>

<name>fs.trash.interval</name>

<value>1440</value>

<!-- Hadoop文件回收站,自动回收时间,单位分钟,这里设置是1天，默认为0。-->

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/data/hadoop/tmp</value>

<!-- Hadoop的默认临时路径，这个最好配置，如果在新增节点或者其他情况下莫名其妙的DataNode启动不了，就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录，那么就需要重新执行NameNode格式化的命令。/data/hadoop/tmp这里给的路径不需要创建会自动生成.-->

</property>

<property>

<name>io.file.buffer.size</name>

<value>131702</value>

<!-- 流文件的缓冲区-->

</property>

hdfs-site.xml 文件配置如下：

<property>

<name>dfs.namenode.name.dir</name>

<value>/data/hadoop/hdfs/name</value>

<!--HDFS namenode数据镜象目录-->

<description>HDFS namenode数据镜象目录</description>

</property>

<property>

<name>dfs.datanode.data.dir</name>

<value>/data/hadoop/hdfs/data</value>

<!-- HDFS datanode数据镜象存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔 -->

<description>HDFS datanode数据镜象存储路径</description>

</property>

<property>

<name>dfs.namenode.http-address</name>

<value>vm01:50070</value>

<!---HDFS Web查看主机和端口-->

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>vm02:50090</value>

<!--辅控HDFS web查看主机和端口-->

</property>

<property>

<name>dfs.webhdfs.enabled</name>

<value>true</value>

</property>

<property>

<name>dfs.replication</name>

<value>3</value>

<!--HDFS数据保存份数，通常是3-->

</property>

<property>

<name>dfs.datanode.du.reserved</name>

<value>1073741824</value>

<!-- datanode 写磁盘会预留 1G空间 给其他程序使用,而非写满,单位 bytes-->

</property>

<property>

<name>dfs.block.size</name>

<value>134217728</value>

<!--HDFS数据块大小，当前设置为128M/Blocka-->

</property>

<property>

<name>dfs.permissions.enabled</name>

<value>false</value>

<!-- HDFS 关闭文件权限 -->

</property>

mapred-site.xml 文件配置如下：

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>mapreduce.jobtracker.http.address</name>

<value>vm01:50030</value>

</property>

<property>

<name>mapred.job.tracker</name>

<value>http://vm01:9001</value>

</property>

<property>

<name>mapreduce.jobhistory.address</name>

<value>vm01:10020</value>

</property>

<property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>vm01:19888</value>

</property>

yarn-site.xml配置如下：

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>vm01:8032</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>vm01:8030</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>vm01:8031</value>

</property>

<property>

<name>yarn.resourcemanager.admin.address</name>

<value>vm01:8033</value>

</property>

<property>

<name>yarn.resourcemanager.webapp.address</name>

<value>vm01:8088</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

安装完成后，可以进行测试：

hadoop-daemon.sh start namenode

hadoop-daemon.sh start datanode

yarn-daemon.sh start resourcemanager

yarn-daemon.sh start nodemanager

通过jps可以查看是否已启动了，如果没有启动成功，到对应的日志目录下查看，一般通过日志的输出可以知道什么原因，然后到网上进行搜索解决

4 集群安装

通过scp命令，将hadoop安装目录复制到vm02,vm03,vm04下

在master节点上执行

vi etc/hadoop/slaves 删除localhost，增加vm02,vm03,vm04

vi etc/hadoop/masters 增加vm02 vm02 是secondnamenode

bin/hdfs namenode -format 格式化，注意不要随意格式化，很容易导致版本不一致！！！

执行./start-all.sh 启动集群

此至集群安装成功了

5. 文件命令&mapreducer测试

bin/hdfs dfs -mkdir /test

bin/hdfs dfs -ls /

bin/hdfs dfs -put /home/gaofla/wc.txt /test/

bin/hdfs dfs -cat /test/wc.txt

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/wc.txt /test/out

bin/hdfs dfs -ls /test/out

bin/hdfs dfs -cat /test/out/part-r-00000