BigData
yfx000
这个作者很懒,什么都没留下…
展开
-
大数据技术总结
二、数据层1、SQLGBaseMonetDB2、NoSQLHBaseCassandraMongoDB3、缓存RedisMemcached三、计算层1、内存计算SparkShark2、IMDGDrillImpala3、数据仓库原创 2016-06-22 22:32:15 · 2822 阅读 · 0 评论 -
数据采集与传输
背景:本文在大数据分析平台背景下,针对用户行为分析、用户画像、个性化推荐场景,介绍首先需要做的数据采集与传输。采集这类数据一般通过“埋点”的方法,记录用户提交了订单、后台库存的变化,从而为后续大数据分析提供基础。一、前端埋点方案1、代码埋点事件发生时,显示调用代码发送记录国外:Google Analytics、Mixpanel国内:百度统计、友盟、Talking转载 2016-08-01 23:25:06 · 3658 阅读 · 0 评论 -
查询引擎原理及应用
一、查询引擎的基本概念1、查询引擎的特点(1)可以访问结构化数据:二维表(2)提供SQL或类SQL的查询接口(3)返回结构化的查询结果2、评价指标(1)可扩展性:单机/分布式(2)支持的数量级:GB/TB/PB(3)支持的数据格式:文本/特定格式(4)响应时间:毫秒/秒级/分钟级(5)查询能力:完全支持SQL/不支持JOIN/不支持SQL3、查询转载 2016-08-20 23:50:06 · 593 阅读 · 0 评论