大数据系列之hadoop第一天（hadoop介绍和伪分布式安装）

前言：大数据系列包括hadoop，zookeeper，hive，flume，kafka，hbase，storm，spark等组件，我在这里会很详细跟大家分享集群的搭建和全部组件的使用，会有具体的案例。

Hadoop概述

官方网址：http://hadoop.apache.org/

Apache的Hadoop是一个开源的、可靠的、可扩展的系统架构，可利用分布式架构来存储海量数据，以及实现分布式的计算。

Hadoop的两个作用：①存储海量数据  ②计算海量数据

Hadoop允许使用简单的编程模型在计算机集群中对大型数据集进行分布式处理。可以从单个服务器扩展到数千台机器，每个机器都提供本地计算和存储，而不是依靠硬件来提供高可用性。此外，Hadoop集群的高可用性也非常良好，因为框架内的机制是可以够自动检测和处理故障。

Hadoop版本说明

第一代Hadoop称为Hadoop1.0,分别是0.20.x,0.21.x和0.22.x

第二代Hadoop称为Hadoop2.0,分别是0.23.x和2.x。

2.0版本完全不同于Hadoop 1.0，是一套全新的架构，加入了Yarn资源协调管理框架。

Hadoop1.0和Hadoop2.0简要架构图

Yarn 资源调度框架——>实现对资源的细粒度封装（cpu，内存，带宽），此外，还可以通过yarn协调多种不同计算框架（MR，Spark）。

Hadoop伪分布式安装

下载地址：

http://hadoop.apache.org/releases.html

注意：

source表示源码

binary表示二级制包（安装包）

安装模式

单机模式：不能使用HDFS，只能使用MapReduce,所以单机模式最主要的目的是在本机调试mapreduce代码

伪分布式模式：用多个线程模拟多台真实机器，即模拟真实的分布式环境。

     完全分布式模式：用多台机器（或启动多个虚拟机）来完成部署集群。

    

安装步骤：

0.关闭防火墙

执行：service iptables stop  这个指令关闭完防火墙后，如果重启，防火墙会重新建立，所以，如果想重启后防火墙还关闭，

需额外执行：chkconfig iptables off

1.配置主机名

执行：vim  /etc/sysconfig/network

编辑主机名

注意：主机名里不能有下滑线，或者特殊字符 #$，不然会找不到主机导致无法启动

这种方式更改主机名需要重启才能永久生效，因为主机名属于内核参数。

如果不想重启，可以执行：hostname  hadoop01。但是这种更改是临时的，重启后会恢复原主机名。