传智---Haoop--(2)--能做什么

• 大数据量存储：分布式存储

• 日志处理: Hadoop擅长这个

• 海量计算: 并行计算

• ETL:数据抽取到oracle、mysql、DB2、mongdb及主流数据库

• 使用HBase做数据分析: 用扩展性应对大量的写操作—Facebook构建了基于HBase的实时数据分析系统

• 机器学习: 比如Apache Mahout项目

• 搜索引擎:hadoop + lucene实现

• 数据挖掘：目前比较流行的广告推荐

• 大量地从文件中顺序读。HDFS对顺序读进行了优化，代价是对于随机的访问负载较高。

• 数据支持一次写入，多次读取。对于已经形成的数据的更新不支持。

• 数据不进行本地缓存（文件很大，且顺序读没有局部性）

• 任何一台服务器都有可能失效，需要通过大量的数据复制使得性能不会受到大的影响。

• 用户细分特征建模

• 个性化广告推荐

• 智能仪器推荐

=======================================================

1.  common               ----------一组分布式文件系统和通用的IO组件接口

2.  Avro                     ----------一种支持高效、跨语言的饿PRC以及永久存储的序列化系统

3.  MapReduce           ---------分布式数据处理模型和执行环境，运行于大熊商用机集群

4.  HDFS                    ----------分布式文件系统

5.  pig                       ----------一种数据流语言和运行环境，用以检索非常大的数据集    pig运行在MapReduce和HDFS的集群上

6.  HIve                     ----------一个分布式，按列存储的数据仓库，Hive管理HDFS中存储的数据，并提供基于SQL查询语言

7.  Hbase-                  --------- 一个分布式，按列存储数据库，Hbase使用HDFS作为底层存储，同时支持MapReduce的批量式计算和点查询

8.  ZooKeeper            ----------一个分布式，可用性高的协调服务，提供分布式锁之类的基本服务用于构建分布式应用

9.  Sqoop                   ----------在数据库和HDFS之间高效传输数据的工具