hadoop基础学习（一）之hadoop集群搭建

现在正在学习hadoop，想通过写一点技术博客来讲一些知识积累下来用来备忘。

本人是刚踏进hadoop生态圈的菜鸟，很多东西也是一知半解，如果博客中有啥错误或者不严谨的地方，烦请各位大神指正，我会虚心学习。谢谢大家。

一：准备工作：我用了四台虚拟机构建hadoop集群，系统是centos6.8；已经安装jdk，虚拟机软件是VMWare；

二：免密登录，大家可以百度一下哈哈哈，教程很多；

三：hadoop安装：官网下载hadoop的tar.gz安装包，或者源码包自己自行进行编译打包（考虑到虚拟机网速以及还有时间原因（maven要下载很多包，，，尴尬）），我采用的是直接下载tar.gz 来安装，

下载完后进行入hadoop安装目录；（下面命令中所有的目录要根据各位的具体环境进行相应的调整哈。）

 cd ./apps/hadoop/etc/hadoop/

ls -l

主要就是配置上图被红框标注出来的的几个配置文件；具体配置如下所述：

a:core-site.xml配置如下：

 

<configuration>
  <!-- 配置namenode -->
 <property>
     <name>fs.defaultFS</name>
     <value>hdfs://namenodename:9000（统一资源定位符）</value>
  </property>
  <property>
     <name>hadoop.tmp.dir</name>
     <value>/home/hadoop/hdpdata(可以自己指定目录)</value>
  </property>
</configuration>

b: hdfs-site.xml 配置 （配置文件复本数量，一般是3）

 

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
</configuration>

 

c:mapred-site.xml(配置yarn)

 

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <!--默认是local也就是单机版-->
    <value>yarn</value>
  </property>
</configuration>

 

d: yarn-site.xml

 

<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop1</value>
  </property>

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

四：配置环境变量

 

vi /etc/profile

在最后加上配置，如下图：

五：批量启动集群

配置$HADOOP_HOME/etc/hadoop/slaves 文件

删除localhost这一行，然后加上自己的集群机器的主机名称（前提是在hosts文件中配置了ip地址和主机名的映射，或者直接用IP地址）

如图：

r然后可以进行启动操作，

cd 到hadoop安装目录中的sbin目录，启动start-dfs.sh脚本；即可启动集群中所有的机器；

六：防火墙：

关闭防火墙并设置成开机不启动；

具体命令：service iptables stop

                    chkconfig iptables off(永久关闭防火墙)

七：客户端

启动成功以后，通过浏览器查看信息：hadoop1:50070/    hadoop1是我在Windows下配置的主机名，可以换成对应的IP地址，