hadoop学习3

2）阿里巴巴分布式数据实时与持续计算
应用背景
– 数据量急剧增加
–电子商务、移动互联网、移动支付
– 欺诈、风控对海量交易实时性
– 用户体验的个性化和实时性
–由点到面
• 实时搜索、个人实时信息服务、SNS等


Hadoop之于实时


技术背景
–MapReduce、Dryad等全量/增量计算平台
– S4、Storm等流计算框架
– CEP以及EDA模型
– Pregel等图计算模型


========================================================


3）电信运营商大数据处理应用研究和实战
什么是大数据？
“大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合”—维基百科
三大特征（3 V）
Volume：数量大（Twitter1.75亿用户每天创建9500万条微博；Facebook每天在30万台服务器上处理25Tb数据；YouTube每天上传168Tb视频）
Velocity：时效性要求高（搜索引擎要求几分钟前的新闻能够被用户查询到）
Variety：种类和来源多样化（结构化/半结构化/非结构化；关系数据库/数据仓库/互联网网页等）
通常用于分析型的应用场景，如搜索引擎网页处理、用户行为分析、商业智能（BI）等




——全球数据量高速增长，信息日益成为战略资产


——大数据处理的实时性要求不断提高


——非结构化数据逐渐成为主流


——Hadoop几乎成为大数据处理的事实标准


——海量数据的出现、数据结构的改变，对数据管理及分析带来挑战


——运营商海量数据分析处理分类模型


——运营商海量数据分析处理需求