初步了解hadoop

关于Hadoop

• hadoop是一个分布式系统基础架构
• 主要用来解决海量数据的存储和海量数据的分析计算问题
• 广义上来讲，hadoop通常是指一个更广泛的概念——hadoop生态圈
  

版本

• Apache Hadoop
  最早发行的
• dkhadoop
  适合新手使用，简单易上手
• Cloudera Hadoop（CDH）
  完全开源，比Apache hadoop在兼容性，安全性，稳定性上有增强。
• hortonworks
  主打产品是Hortonworks Data Platform (HDP)，同样开源，安装方便，HDP 包括一个现代化的，直观的用户界面的安装和配置工具。

特点

hadoop 是一个开源的，可靠的，可扩展的，分布式 计算软件。
reliable(可靠的)：稳定性好，即使某些节点损坏，也能保证存储的数据不丢失
scalable(可扩展的)：轻松增加新的服务器，实现扩容
distributed(分布式)：有许多功能不同的节点组成（master 和 slave）,多个节点执行不同的功能

高效：在MapReduce的思想下，hadoop是并行工作的，以加快任务的处理速度
高容错性：能够自动将失败的任务重新分配(当某一节点挂掉后，会自动将任务分配给其他节点执行)

分布式和集群的区别和关系
集群（cluster）：多个节点执行相同的功能
分布式（distributed）：多个节点执行不同的功能

分布式由集群组成，集群中的每一台计算机叫做节点

Hadoop的组成

• MapReduce（计算）
• yarn（资源调度）
• HDFS（数据存储）
• Common（各种辅助工具）

Ps : 这些东西都是当初学习大数据的时候，自己做的笔记。现在分享出来希望能给有需要的人带来帮助。