之前看过不少hadoop理伦的文章和书籍,一直想搭建一个集群玩玩,笔记本电脑不给力,给它加了一个4G内存后,在周末的时候,花了差不多一天的时间才把集群搭建好,中间也遇到了一些问题,还好最终搭建成功了,开始大数据之旅吧。
1. 安装JDK
1)首先要卸载掉默认安装的JDK
### 查看安装所有的JDK信息
rpm -qa | grep jdk
### 卸载掉JDK,xxx代表的是上个命令输出的结果
yum -y remove java xxx
2) 安装rz工具 在root权限下上传,不要勾选以ASCII码上传!!!
yum install lrzsz
3) 上传JDK之后进行安装JDK
tar -zxvf jdk-7u79-linux-x64.tar.gz
vi /etc/profile
#set java environment
JAVA_HOME=/usr/java/jdk1.7.0_79
JRE_HOME=/usr/java/jdk1.7.0_79/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH
4)测试JDK
java -version
2. 节点配置,准备四个节点
vm01 192.168.141.128 master节点
vm02 192.168.141.129
vm03 192.168.141.130
vm04 192.168.141.131
1)在/etc/hostname下修改名字
2)在/etc/hosts下增加各个节点的名字
192.168.141.128 vm01
192.168.141.129 vm02
192.168.141.130 vm03
192.168.141.131 vm04
3)增加ssh 无密码登录
在master节点上执行 ssh-keygen -t rsa 一路回车键
cp id_rsa.pub authorized_keys
然后scp /root/.ssh/ vm02:/root/.ssh
scp /root/.ssh/ vm03:/root/.ssh
scp /root/.ssh/ vm04:/root/.ssh
此时再ssh登录任何一台机器都是ok的
3. master节点上安装hadoop
1)下载好hadoop,我使用的是2.7.1版本,通过rz命令上传后,解压
2)在master节点上进行配置
在hadoop-env.sh 文件中修改JDK路径和设置HADOOP_HEAPSIZE=128
core-site.xml 文件配置如下:
<property>
<name>fs.defaultFS</name>
<value>hdfs://vm01:9000</value>
<!--hadoop namenode 服务器地址和端口,以域名形式-->
</property>
<property>
<name>dfs.namenode.checkpoint.period</name>
<value>1800</value>
<!-- editlog每隔30分钟触发一次合并,默认为60分钟 -->
</property>
<property>
<name>fs.checkpoint.size</name>
<value>67108864</value>
</property>
<property>
<name>fs.trash.interval</name>
<value>1440</value>
<!-- Hadoop文件回收站,自动回收时间,单位分钟,这里设置是1天,默认为0。-->
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/data/hadoop/tmp</value>
<!-- Hadoop的默认临时路径,这个最好配置,如果在新增节点或者其他情况下莫名其妙的DataNode启动不了,就删除此文件中的tmp目录即可。不过如果删除了NameNode机器的此目录,那么就需要重新执行NameNode格式化的命令。/data/hadoop/tmp这里给的路径不需要创建会自动生成.-->
</property>
<property>
<name>io.file.buffer.size</name>
<value>131702</value>
<!-- 流文件的缓冲区-->
</property>
hdfs-site.xml 文件配置如下:
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/hadoop/hdfs/name</value>
<!--HDFS namenode数据镜象目录-->
<description>HDFS namenode数据镜象目录</description>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/hadoop/hdfs/data</value>
<!-- HDFS datanode数据镜象存储路径,可以配置多个不同的分区和磁盘中,使用,号分隔 -->
<description>HDFS datanode数据镜象存储路径</description>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>vm01:50070</value>
<!---HDFS Web查看主机和端口-->
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>vm02:50090</value>
<!--辅控HDFS web查看主机和端口-->
</property>
<property>
<name>dfs.webhdfs.enabled</name>
<value>true</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
<!--HDFS数据保存份数,通常是3-->
</property>
<property>
<name>dfs.datanode.du.reserved</name>
<value>1073741824</value>
<!-- datanode 写磁盘会预留 1G空间 给其他程序使用,而非写满,单位 bytes-->
</property>
<property>
<name>dfs.block.size</name>
<value>134217728</value>
<!--HDFS数据块大小,当前设置为128M/Blocka-->
</property>
<property>
<name>dfs.permissions.enabled</name>
<value>false</value>
<!-- HDFS 关闭文件权限 -->
</property>
mapred-site.xml 文件配置如下:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobtracker.http.address</name>
<value>vm01:50030</value>
</property>
<property>
<name>mapred.job.tracker</name>
<value>http://vm01:9001</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>vm01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>vm01:19888</value>
</property>
yarn-site.xml配置如下:
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>vm01:8032</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>vm01:8030</value>
</property>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>vm01:8031</value>
</property>
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>vm01:8033</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>vm01:8088</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
安装完成后,可以进行测试:
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
yarn-daemon.sh start resourcemanager
yarn-daemon.sh start nodemanager
通过jps可以查看是否已启动了,如果没有启动成功,到对应的日志目录下查看,一般通过日志的输出可以知道什么原因,然后到网上进行搜索解决
4 集群安装
通过scp命令,将hadoop安装目录复制到vm02,vm03,vm04下
在master节点上执行
vi etc/hadoop/slaves 删除localhost,增加vm02,vm03,vm04
vi etc/hadoop/masters 增加vm02 vm02 是secondnamenode
bin/hdfs namenode -format 格式化,注意不要随意格式化,很容易导致版本不一致!!!
执行./start-all.sh 启动集群
此至集群安装成功了
5. 文件命令&mapreducer测试
bin/hdfs dfs -mkdir /test
bin/hdfs dfs -ls /
bin/hdfs dfs -put /home/gaofla/wc.txt /test/
bin/hdfs dfs -cat /test/wc.txt
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.1.jar wordcount /test/wc.txt /test/out
bin/hdfs dfs -ls /test/out
bin/hdfs dfs -cat /test/out/part-r-00000