Linux 环境下搭建Hadoop集群(全分布)

一、准备工作

1.1 linux 的环境搭建

• 自己装好Linux 后，开始环境的搭建：
  1.打开网卡的配置文件
  • 输入以上指令
  • 进入以后在这里进行网卡的配置，多的东西可以删除，其中IP(IPADDR) 和 网关(GATEWAY)要配好,不知道自己网的 看下面
  • 点开虚拟网络编辑器
    
• 看红框部分
  
• 再使用如下指令，修改主机名：192.168.41.100 Hadoop
  椭圆部分配置的是以后DataNode的映射

vi /etc/hosts

• 再配置主机的别名

vi  /etc/sysconfig/network

• 接下来就是关闭防火墙了，这个如果不关闭的话以后就不能喝其他的linux 进行通信了
  
• 这些工作做完以后就可以使用一个putty 或者xshell 等远程连接工具，比直接在Linux上操作要方便的多。

1.2安装必备的软件 jdk 和 Hadoop

1.2.1 jdk 的安装

• 可以通过文件上传工具（Filezilla）将jdk安装包上传至linux中，我用的是解压就可用的

cd 至安装包目录下
tar -zxvf jdk.jar  -C apps/

• 然后将jdk 的安装路径copy一下（shift+insert 和 ctrl + insert 就是putty这个软件下的复制粘贴），开始配制环境变量

vi /etc/profile

source /etc/profile  # 使文件生效
java -version   #测试有没有配置好

1.2.2 hadoop 的安装 同上

解压以后可以看到如下的界面，进入他的安装目录

1.2.2 hadoop 的环境配置

• 配置 根目录 下的 etc/profile
  
• 配置hadoop-env.sh
  
  -没有安装ssh 的安装一下ssh，centenOS好像内置有这个，所以就不需要安装，不会的自己百度。。。
  

1.3 修改 hadoop 的配置文件

• 1.core -site.xml

进入到配置 文件夹
 cd /tmp/apps/hadoop/hadoop-2.8.1/etc/hadoop/
 然后修改配置文件
 vi core-site.xml

• 2. hdfs-site.xml

vi hdfs-site.xml

• 3. yarn-site.xml

vi yarn-site.xml

• 4. mapred-site.xml

这里要做一下处理,相当于建了一个xml 文件
 mv mapred-site.xml.template mapred-site.xml
然后
vi mapred-site.xml

1.4给自己配置一个免密登陆，这样克隆以后就可以直接登陆其他的虚拟机了

具体免密登陆的方法百度吧。。。

ssh-keygren

1.5 全配好以后开始克隆虚拟机，最少三台

成功以后在这三台虚拟机设置一下他们的ip，操作和之前的一样

1.6格式化NameNode

• 注意，这个工作只做一次，以后就不能再做了，不然你的集群的ID 就会发生改变，修改很麻烦。

hadoop namanode -format	

1.7 启动集群前的最后一步工作

现在就可以直接启动了，不过得一台一台的启动，实在太慢，我们可以配置一些东西，使其可以一键启动集群。
我们再你的Name Node上 进行配置

在hadoop 的安装目录下，写你的datanode的地址，如果你的hosts 文件中有这些地址的映射，就可以直接写他们的别名 :
vi etc/hadoop/slaves

这是我的slaves

这是我的hosts 文件的配置，要配置映射，才能像上面那样用

1.8 启动我们的集群

只要你配置好了上面的东西，就可以再任何目录下执行以下的命令
start-all.sh

然后

用web 浏览器查看是否正确启动

都正确的话就成功了，数字不对的话就再找找原因，是不是哪里配置错了。