大数据之Linux+大数据开发篇

顶级架构师的发展之路，额，，这大数据开发篇架构师原来是这么复杂的，，写出来大家补充。

最基础的就是编程语言和Linux以及脚本语言。

Hadoop//HDFS//MapReduce：

Hadoop是一个由Apache基金会所开发的 分布式系统基础架构。

用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

 Hadoop实现了一个 分布式文件系统（Hadoop Distributed File System）， 简称HDFS。HDFS有高 容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问 应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据。

Hadoop的框架最核心的设计就是：HDFS和MapReduce。 HDFS为海量的数据提供了存储，则 MapReduce为海量的数据提供了计算。

YARN：

Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。YARN的基本思想是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离。

ETL数据清洗：

       企业如何通过各种技术手段，并把数据转换为信息、知识，已经成了提高其核心竞争力的主要瓶颈。而ETL则是主要的一个技术手段。

ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、转换（transform）、加载（load）至目的端的过程。 ETL一词较常用在 数据仓库，但其对象并不限于数据仓库。

ETL是构建数据仓库的重要一环，用户从 数据源抽取出所需的数据，经过 数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。

ETL是指从源系统中提取数据，转换数据为一个标准的格式，并加载数据到目标数据存储区，通常是数据仓库。