互联网电商大数据环境 ——大数飓数据分析实践培训精华笔记(一)——简介入门

互联网电商大数据环境
——数据分析实践培训精华笔记(一)


工作内容
项目：DW数据库建设/经分/客户精准营销/推荐系统需求/移动端数据分析
数据：流量数据/交易数据B2C/会员与活动数据/物流与配送数据/内部财务数据
数据产品举例：淘宝数据魔方/腾讯用户画像/京东罗盘/客户标签

工作事宜
平台工作：系统不好用/上线/工具开发/权限控制/开发监控程序/报错
数据开发：抽取和装载日志数据和源系统数据/开发宽表模型/数据开发需


求/业务咨询/数据开发需求/大促等临时提取数据/数据异常


电商项目生命周期

提出需求－需求文档－讨论可行性－初步数据来源－需求调研－初步方案－时间预算－PMO跟进项目－整体排期－测试日期－数据质量测试排期－制定详细实现方案－mapping文档－方案建表－开发ETL－ETL单元测试－调度平台－详细mapping提测－ETL逻辑上到测试环境－跑批－根据mapping写SQL测试ETL逻辑－质量测试－上线

hadoop应用
1. 数据仓库、商业智能（阿里、腾讯系、百度、京东、新浪）
2.互联网广告计算　Yahoo
3.站内搜索引擎项目  Ebay, 支付宝
4.内容推荐引擎　人人，优酷，新浪
5.病毒分析/垃圾邮件识别   Yahoo,360
6.云计算　百度，亚马逊
7.其