Hadoop——前言、大数据

Hadoop

前言、大数据

1. 概念

单位量级在TB、PB、EB的海量数据

2. 特点4V及应对

1. Volume(大量)——大数据存储
2. Velocity(高速)——大数据计算
3. Variety(多样)——大数据采集
4. Value(低价值密度)——大数据清洗ETL

3. 大数据部门组织结构

1. 平台组

• 集群平台搭建
• 集群性能监控
• 集群性能调优

2. 数据仓库组

• ETL工程师(12-15k,适合学得差的)
• 数据分析、数据仓库建模(灵魂)

3. 实时组

• 实时指标分析、性能调优

4. 数据挖掘组(算法组)

• 算法工程师
• 推荐系统工程师
• 用户画像工程师

5. 报表工程师

• JavaEE工程师
• 前端工程师