hadoop学习2

相信google大家都非常的熟悉。她是一个互联网搜索引擎。赖以生存的技术是dfs和mapReduce。那么hadoop就是对其开源的一个产物。
目前facebook、linkedin、amazon、emc、ebay、twitter、IBM、microsoft、apple、hp 、taobao、baidu等都在应用hadoop。

行业背景：
信息社会的信息增量在高速发展
•随着互联网/移动互联网、数码设备、物联网/传感器等技术的发展，全球数据生产在高速增长
•信息成为企业战略资产，市场竞争和政策管制要求越来越多的数据被长期保存
•企业越来越需要长期保存各类数据，以进行用户行为分析、市场研究，信息服务企业更是需要积累越来越多的信息资源
•为了遵从萨巴斯、上网日志审计等管制要求，企业需要长期保存越来越多的生产数据
•信息处理技术的发展使很多数据的价值能够被更好地挖掘和利用
•自然语言处理、语音识别、图像处理技术等
•据IDC研究报告，未来10年全球数据量将以40+%的速度增长，2020年全球数据量将达到35ZB（35,000,000PB），为2009年（0.8ZB）的44倍
简单点一句话：这是一个数据时代。

举例：

1）淘宝选择HBASE——HBase是Apache的Hadoop项目的子项目。
——HBase是一个分布式的、面向列的开源数据库，该技术来源于Chang et al所撰写的Google论文“Bigtable：一个结构化数据的分布式存储系统”。
——就像Bigtable利用了Google文件系统（File System）所提供的分布式数据存储一样，HBase在Hadoop之上提供了类似于Bigtable的能力。
——HBase不同于一般的关系数据库,它是一个适合于非结构化数据存储的数据库.另一个不同的是HBase基于列的而不是基于行的模式。
淘宝选择HBASE的原因
•和Hadoop一样的海量数据处理的能力
•易于横向扩展
•随机读写的高性能
•高可靠性和稳定性
•在互联网公司有较多的适用场景
•单行写入的强一致性
•开源，社区活跃并有大公司支持
应用举例
1*淘宝实时传输平台
–数据每天TB级的数据写入应用
–旧的存储模型（内存+硬盘 ）
–发布和订阅的使用场景
2•淘宝指数
–倒排索引的属性查询（Redis ->Hbase）
–实时/性能
–客户端Join
–高冗余，每行百兆级的数据应用
3*交易历史记录查询系统
–百亿行数据表，千亿级二级索引表
–每天千万行更新
–查询场景简单，检索条件较少
–关系型数据库所带来的问题
–基于userId + time + id rowkey设计

–成本考虑