1.大数据概念
大数据(big data):指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
主要解决,海量数据的存储和海量数据的分析计算问题。
2. 大数据特点
1)高速 Velocity 数据产生快
2)数量大 Volume
3)多样性 Variety 结构化,非结构化,数据种类多
4)低价值密度 Value
3. 大数据应用
结合海量数据挖掘及数据分析,助力精准定位和精确营销
4. 企业数据部的业务流程分析
1)产品人员提需求:统计总用户数 日活跃用户数 回流用户数等
2)数据部门搭建数据平台、分析数据指标
3)数据可视化(报表展示,邮件发送,Echarts)
5. 企业数据部的一般组织结构
1)平台组
Hadoop等框架平台搭建,集群性能监控,集群平台性能调优
2)数据仓库组
ETL工程师-数据清洗
Hive工程师-数据分析,数据仓库建模
3)数据挖掘组
算法工程师
推荐系统工程师
用户画像工程师
4)报表开发组
JAVAEE工程师(展示)