互联网电商大数据环境
——数据分析实践培训精华笔记(一)
工作内容
项目:DW数据库建设/经分/客户精准营销/推荐系统需求/移动端数据分析
数据:流量数据/交易数据B2C/会员与活动数据/物流与配送数据/内部财务数据
数据产品举例:淘宝数据魔方/腾讯用户画像/京东罗盘/客户标签
工作事宜
平台工作:系统不好用/上线/工具开发/权限控制/开发监控程序/报错
数据开发:抽取和装载日志数据和源系统数据/开发宽表模型/数据开发需
求/业务咨询/数据开发需求/大促等临时提取数据/数据异常
电商项目生命周期
hadoop应用
1. 数据仓库、商业智能(阿里、腾讯系、百度、京东、新浪)
2.互联网广告计算 Yahoo
3.站内搜索引擎项目 Ebay, 支付宝
4.内容推荐引擎 人人,优酷,新浪
5.病毒分析/垃圾邮件识别 Yahoo,360
6.云计算 百度,亚马逊
7.其
——数据分析实践培训精华笔记(一)
工作内容
项目:DW数据库建设/经分/客户精准营销/推荐系统需求/移动端数据分析
数据:流量数据/交易数据B2C/会员与活动数据/物流与配送数据/内部财务数据
数据产品举例:淘宝数据魔方/腾讯用户画像/京东罗盘/客户标签
工作事宜
平台工作:系统不好用/上线/工具开发/权限控制/开发监控程序/报错
数据开发:抽取和装载日志数据和源系统数据/开发宽表模型/数据开发需
求/业务咨询/数据开发需求/大促等临时提取数据/数据异常
电商项目生命周期
提出需求-需求文档-讨论可行性-初步数据来源-需求调研-初步方案-时间预算-PMO跟进项目-整体排期-测试日期-数据质量测试排期-制定详细实现方案-mapping文档-方案建表-开发ETL-ETL单元测试-调度平台-详细mapping提测-ETL逻辑上到测试环境-跑批-根据mapping写SQL测试ETL逻辑-质量测试-上线
hadoop应用
1. 数据仓库、商业智能(阿里、腾讯系、百度、京东、新浪)
2.互联网广告计算 Yahoo
3.站内搜索引擎项目 Ebay, 支付宝
4.内容推荐引擎 人人,优酷,新浪
5.病毒分析/垃圾邮件识别 Yahoo,360
6.云计算 百度,亚马逊
7.其