云计算数据平台-hadoop集群(汇总目录)

前言

用VMware Workstation Pro虚拟机（以下简称VMware）虚拟出三台(一主二从，一个master，两个slave)CentOS7操作系统搭建Hadoop集群（包括虚拟机性能规划、主从节点规划、IP规划等），实现本地与云平台之间的文件上传、下载功能。
  本文接下来是搭建Hadoop的过程，此过程不给出源码和具体操作步骤，但是会给出讲解和每一步问题和检查的截图效果（小弟已经按照此步骤成功搭建3次了【因为linux开源，很容易搞崩系统。。建议初学者备份自己重要的东西，不建议用个人电脑或者服务器来初学练手，所以也用了VM来搞，先克隆初始状态系统（简单VMware克隆教程）搞崩了一次系统创建一次，so easy】）。遇到不懂的地方先自行想办法解决。在哪里卡住就直接【google, bing, 百度】哪个标题。如果问题还是解决不了，可以在下面评论区提出问题给大家解决或者私发消息给我，欢迎大家一起讨论学习~小弟才学粗浅，在博客写的过程不对或者错误地方请各位大神英雄好汉指出。

1. 准备工具

  CentOS-7-x86_64-DVD-1611.iso（以下简称CentOS-7）操作系统
  VMwareWorkstationPro14.0.0 （以下简称VMware）
  jdk-8u141-linux-x64.tar.gz（以下简称JDK）
  hadoop-2.7.4.tar.gz（以下简称Hadoop）
  PuTTY
  FileZilla
如以上官网链接无法打开，请自行百度或者google下载

2. VMware 14安装 CentOS 7

3. CentOS-7系统的基本配置

  3.1 修改CentOS-7系统的IP地址

  3.2 修改CentOS-7系统的主机名

  3.3 修改CentOS-7的IP地址与主机名的映射关系

  3.4 关闭CentOS-7防火墙

4. 部分工具的使用方法

  4.1 Putty使用方法

  4.2 FileZilla使用方法

  4.3 安装JDK

5 搭建Hadoop

  5.1 Hadoop集群概念设计

  5.2 安装Hadoop

    5.2.1 修改hadoop-env.sh配置文件（一）

    5.2.2 修改core-site.xml配置文件（二）

    5.2.3 修改hdfs-site.xml配置文件（三）

    5.2.4 修改mapred-site.xml配置文件 (四)

    5.2.5 修改yarn-site.xml配置文件（五）

    5.2.6 配置hadoop环境变量

    5.2.7 配置slave

  5.3 创建从机（slave）

    5.3.1 克隆虚拟机并创建从机

    5.3.2 安装密钥

    5.3.3 使用ssh传输文件

  5.4 构建HDFS

    5.4.1 初始化hdfs

    5.4.2 查看master节点启动状态

    5.4.3 查看各个节点启动状态

  5.5 Hadoop运行结果

    5.5.1 使用HDFS管理界面

    5.5.2 使用yarn管理界面

6.功能测试

  6.1 执行上传文件

  6.2 执行下载文件

快速链接

上一篇	汇总目录	下一篇
本篇	云计算数据平台-hadoop集群	2.在VMware 14安装 CentOS 7