Linux教程（11）----[HADOOP2.6.5（1）及os6集群搭建]

目录

Hadoop体系介绍

什么是HADOOP：

HADOOP产生背景

HADOOP在大数据、云计算中的位置和关系

离线数据分析流程介绍

需求分析

案例名称

数据来源

数据处理流程

流程图解析

项目技术架构图

项目相关截图

项目最终效果

1. 集群环境准备

1.1 修改主机名

1.3 关闭防火墙

1.4 添加内网域名映射

1.5 同步网络时间

1.6 安装JDK

1.7 克隆虚拟机

1.8 配置SSH免密登录（普通用户）

2.Hadoop分布式集群搭建

2.2.1 集群规划

2.2.2 安装包准备

2.2.3 主要配置文件

配置环境变量 hadoop-env.sh

配置核心组件 core-site.xml

配置文件系统 hdfs-site.xml

配置计算框架 mapred-site.xml

配置文件系统 yarn-site.xml

配置slaves文件

2.2.4分发到从节点

2.2.5配置Hadoop系统环境变量

2.2.6 启动Hadoop集群

初始化文件系统

启动HDFS

启动YARN

查看进程是否启动

Web UI查看集群是否成功启动

测试集群是否安装成功

关闭所有服务：

---

Hadoop体系介绍

什么是HADOOP：

Hadoop是一个由Apache基金会所开发的分布式系统基础架构, 是一个存储系统