2)阿里巴巴分布式数据实时与持续计算
应用背景
– 数据量急剧增加
–电子商务、移动互联网、移动支付
– 欺诈、风控对海量交易实时性
– 用户体验的个性化和实时性
–由点到面
• 实时搜索、个人实时信息服务、SNS等
Hadoop之于实时
技术背景
–MapReduce、Dryad等全量/增量计算平台
– S4、Storm等流计算框架
– CEP以及EDA模型
– Pregel等图计算模型
========================================================
3)电信运营商大数据处理应用研究和实战
什么是大数据?
“大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合”—维基百科
三大特征(3 V)
Volume:数量大(Twitter1.75亿用户每天创建9500万条微博;Facebook每天在30万台服务器上处理25Tb数据;YouTube每天上传168Tb视频)
Velocity:时效性要求高(搜索引擎要求几分钟前的新闻能够被用户查询到)
Variety:种类和来源多样化(结构化/半结构化/非结构化;关系数据库/数据仓库/互联网网页等)
通常用于分析型的应用场景,如搜索引擎网页处理、用户行为分析、商业智能(BI)等
——全球数据量高速增长,信息日益成为战略资产
——大数据处理的实时性要求不断提高
——非结构化数据逐渐成为主流
——Hadoop几乎成为大数据处理的事实标准
——海量数据的出现、数据结构的改变,对数据管理及分析带来挑战
——运营商海量数据分析处理分类模型
——运营商海量数据分析处理需求
应用背景
– 数据量急剧增加
–电子商务、移动互联网、移动支付
– 欺诈、风控对海量交易实时性
– 用户体验的个性化和实时性
–由点到面
• 实时搜索、个人实时信息服务、SNS等
Hadoop之于实时
技术背景
–MapReduce、Dryad等全量/增量计算平台
– S4、Storm等流计算框架
– CEP以及EDA模型
– Pregel等图计算模型
========================================================
3)电信运营商大数据处理应用研究和实战
什么是大数据?
“大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合”—维基百科
三大特征(3 V)
Volume:数量大(Twitter1.75亿用户每天创建9500万条微博;Facebook每天在30万台服务器上处理25Tb数据;YouTube每天上传168Tb视频)
Velocity:时效性要求高(搜索引擎要求几分钟前的新闻能够被用户查询到)
Variety:种类和来源多样化(结构化/半结构化/非结构化;关系数据库/数据仓库/互联网网页等)
通常用于分析型的应用场景,如搜索引擎网页处理、用户行为分析、商业智能(BI)等
——全球数据量高速增长,信息日益成为战略资产
——大数据处理的实时性要求不断提高
——非结构化数据逐渐成为主流
——Hadoop几乎成为大数据处理的事实标准
——海量数据的出现、数据结构的改变,对数据管理及分析带来挑战
——运营商海量数据分析处理分类模型
——运营商海量数据分析处理需求