2020-11-15 大数据概念

1.大数据概念

大数据主要解决两个问题： 海量数据的存储问题，海量数据的计算问题；

2.大数据的特点

volume

variety

value

velocity

veracity

大 数据量大 数据体量贼大

多 数据种类多 结构化，非结构化的数据

值 需要在海量数据中捞取有价值的数据；

快 离线处理 实时处理

信 数据准确 数据质量高

3. 大数据的应用场景

电商方面: 用户行为分析；

传媒方向: 内容推荐；

金融领域: 个人信用评估

交通领域: 车流控制

电信领域: 套餐推荐

安防方面: 人脸识别

医疗体系: 智慧医疗

4. 大数据分析基本步骤

1. 明确分析目的和思路
2. 数据收集
3. 数据处理（ETL)
4. 数据分析
5. 数据可视化
6. 报表呈现

5. 大数据部门组织架构

平台组 -> 大数据平台环境搭建，集群性能监控，集群性能调优

数据仓库组 ->ETL工程师 hive工程师-数仓建模和数据分析

数据挖掘组 -> 算法工程师 推荐系统工程师 用户画像工程师

报表开发组 -> 报表开发

6. 计算机原理

现代计算机大多基于冯诺依曼结构；包括程序和数据；

计算机包括存储器，运算器，控制器，输入输出设备；

硬件和软件

软件： 操作系统 -> 系统软件 -> 应用软件

操作系统： 管理处理器， 管理存储器， 管理IO设备， 管理文件。

程序之间轮换着进入cpu计算，core

常见的操作系统：
windows, linix, unix, Mac, Android