Hadoop学习-days4-大数据简介

1.大数据概念

    大数据（big data）：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

    主要解决，海量数据的存储和海量数据的分析计算问题。

 

2. 大数据特点

    1）高速  Velocity 数据产生快

    2）数量大 Volume

    3）多样性 Variety 结构化，非结构化，数据种类多

    4）低价值密度 Value

 

3. 大数据应用

    结合海量数据挖掘及数据分析，助力精准定位和精确营销

 

4. 企业数据部的业务流程分析

    1）产品人员提需求：统计总用户数 日活跃用户数 回流用户数等

    2）数据部门搭建数据平台、分析数据指标

    3）数据可视化（报表展示，邮件发送，Echarts）

 

5. 企业数据部的一般组织结构

    1）平台组

        Hadoop等框架平台搭建，集群性能监控，集群平台性能调优

    2）数据仓库组

        ETL工程师-数据清洗

        Hive工程师-数据分析，数据仓库建模

    3）数据挖掘组

        算法工程师

        推荐系统工程师

        用户画像工程师

    4）报表开发组

        JAVAEE工程师（展示）