互联网电商大数据环境

数据平台/数据中心/数据部的职能
部门：数据仓库组；BI(商业智能)组；某事业部数据组;架构组；数据专家组

搭建和保证 hadoop系统每天正常运行和改进 hadoop系统的架构人员
满足业务系统需求，每天开发应用的开发人员（经验丰富，熟悉业务）
管理系统的上线下线运行监控授权等运营工作的运营人员（很多女生）
使用平台的数据进行分析，提供一些决策或运营支撑的数据分析人员（研究生）

数据平台大概是可以分平台建设和数据开发两部分，细分为需求组，推荐组，情报组，挖掘组，实时数据组，营销数据组等等，数据分析人员可能在另外的一个部门，不是数据平台

平台建设
解决系统挂了，运行慢，报错，不好用，不会用
系统改进，上线，工具开发，权限控制
开发监控程序，解决各种疑难杂症等

数据开发
抽取和装载日志数据和源系统数据
开发宽表/模型(一种很多字段的冗余的表)
各部门的源源不断的数据开发需求砸过来
各种业务咨询，线上问题查找，优化程
临时提取数据，或者计算某一个马上要用的指标

电商一般项目的生命周期
产品经理，或者业务人员提出需求，带需求文档
各负责人讨论可行性，与初步的数据来源
开发人员接触需求，进行需求调研，制定初步实现方案和预估时间
PMO跟进项目并整体排期:开发排期，提测试日期，数据质量测试排期
开发人员根据排期开展工作，制定详细实现方案，并初步完成Mapping发给数据质量测试人员
开发人员根据实现方案建表，并开发ETL过程，
ETL过程单元测试，调通并部署到调度平台
开发好之后编写详细 Mapping，并提测，并将ETL逻辑上到测试环境，每天跑批
测试人员根据 Mapping按字段写测试SQL来测试ETL逻辑是否正确。
数据质量测试人员测试完，数据就保证是正确的，会提交给分析人员或者业务人员使用(可能还有业务测试）
各人员确认没有问题后上线

可能会有哪些重点项目
DW数据仓库建设
经营分析报表(各部门都有常用报表）
客户精准营销
推荐系统需求
移动端数据分析

可能会有哪些重点方向
流量数据
交易数据
会员与活动数据
物流与配送数据
内部财务数据

典型数据产品
淘宝数据魔方，腾讯用户画像，京东罗盘，客户标签