大数据学习笔记1--hadoop简介和入门

Hadoop简介:

• 分布式、可扩展、可靠的、分布式计算框架。

组件：

• common：公共组件

• hdfs：分布式文件系统

• yarn：运行环境

• mapreduce：mr计算模型

生态系统：

• Ambari:操作界面

• avro：通用的序列化机制、与语言无关

• cassandra:数据库

• chukwa：数据收集系统

• hbase:分布式大表数据库

• hive：基于sql的分析系统

• matout：机器学习算法库

• pig：脚本语言

• spark：快速通用的计算引擎，主要用于迭代计算

• tez：数据流框架

• zookeeper：高性能的协调服务

海量数据分析：

• 原始方式？空间限制|性能限制|单节点故障| 细节实现问题
• hdfs?提供统一接口|大文件切分|分布式存储|平行扩展|高可靠

HDFS

• hadoop生态系统分布式文件系统，用来解决大数据存储问题。

• hdfs是在本地文件系统之上抽象出的文件系统，提供统一的访问接口（目录树）&#x