Hadoop

cluster（集群）

LB（负载均衡）：
	LVS、SLB、HAPROXY、nginx 
HA（高可用）：
	MHA、Keepalived、hearebeat
HPC（高性能计算机群）：
	Hadoop

Hadoop

	Hadoop是java开发，实现了一个分布式文件系统，简称HDFS。HDFS有高容错性的特点，并且设计用来部署在低廉的硬件上；提供高吞吐量来访问应用程序的数据，适合有着超大数据集的应用程序。HDFS放宽了POSIX的要求，可以以流的形式访问文件系统中的数据

Hadoop框架核心：HDFS和mapreduce
HDFS：为海量数据提供存储
mapreduce：为海量数据提供计算

Hadoop集群优点：
	1、可靠性；按位存储数据和处理数据
	2、扩展性；节点较多，方便计算和分配数据
	3、容错性；能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配
	4、成本低；hadoop是开源的，项目的软件成本因此会大大降低
	5、高效性；能够在节点之间动态的移动数据，并保证节点的动态平衡因此处理速度快
Hadoop 是一个能够对大量数据进行分布式处理的软件框架；以可靠、高效、可伸缩的方式进行数据处理。
	可靠：它假设计算元素和存储会失败，因此维护多个工作数据副本，确保能够针对失败的节点重新分布处理。
	高效：能够以并行的方式工作，通过并行处理加快处理速度
	可伸缩：能够处理 PB 级数据

分布式存储

	分布式文件系统管理的是一个服务器集群。在这个集群中，数据存储在集群的节点（即集群中的服务器）中，但是该文件系统把服务器的差异屏蔽了。那么，我们就可以像使用普通的文件系统一样使用，但是数据却分散在不同的服务器中。

分布式计算

 	在hadoop中，分布式计算部分称为MapReduce
	现在，数据是存放在分布式文件系统中，100GB 的数据可能存放在很多的服务器上，那么就可以把程序代码分发到这些服务器上，在这些服务器上同时执行，也就是并行计算，也是分布式计算
	分布式计算需要的是最终的结果，程序代码在很多机器上并行执行后会产生很多的结果，因此需要有一段代码对这些中间结果进行汇总。Hadoop中的分布式计算一般是由两阶段完成的；第一阶段负责读取各数据节点中的原始数据，进行初步处理，对各个节点中的数据求单词数。然后把处理结果传输到第二个阶段，对个节点结果进行汇总，产生最终结果。

MapReduce

MapReduce 是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）“和"Reduce(归约)”，和它们的主要思想，都是从函数式编程语言里借来的，还有从矢量编程语言里借来的特性

分布式计算角色

主节点：作业节点（job tracker）
从节点：任务节点（task tracker）
任务节点当中，运行第一阶段的代码称为map任务（map task ） ，运行第二阶段代码称为 reduce任务（reduce task）

Hadoop 名词

Hadoop：apache开源分布式框架
HDFS：Hadoop的分布式文件系统
NameNode: Hadoop HDFS 原数据主节点服务器，负责保存datenode文件存储数据信息；单点服务器。
jobtracker : hadoop的map/reduce调度器，负责与任务节点通信分配计算并跟踪任务进度；单点服务器。
DataNode : Hadoop的数据节点，负责存储数据
tasktracker: hadoop的调度程度，负责map和reduce的任务的启动和执行

Hadoop搭建

1、在三台服务器创建统一的普通用户
[root@ node-23 ~]# useradd -u 8000 hadoop; echo 123 | passwd --stdin hadoop
2、在主服务器上配置免密登陆
[root@ node-22 ~]# ssh-keygen 
[root@ node-22 ~]# ssh-copy-id root@192.168.124.23
3、三台服务器上配置jdk环境
[root@ node-22 ~]# rpm -ivh jdk-8u131-linux-x64_.rpm