大数据(bigdata)

1. 大数据的概念：

   1. 什么是大数据：
      1. 海量的数据：通常是PB/EB级的数据；
      2. 通过一些技术存储和处理大量的数据；
      3. 数据存储的单位：

         单位	等价关系
         1Byte	8bit
         1K(千)	1024Byte
         1MB（兆)	1024K
         1G(吉)	1024M
         1T(太)	1024G
         1P(拍)	1024T
         1E(艾)	1024P
         1Z(泽)	1024E
         1Y (尧)	1024Z
         1B(布)	1024Y
         1N(诺)	1024B
         1D(刀)	1024N

      4. 大数据解决什么问题?
         1. 海量数据存储:   数据分析的前提是有数据，数据存储的目的是支撑数据分析。究竟怎么去存储庞大的数据量，是开展数据分析的企业在当下面临的一个问题。 
         2. 海量数据运算:   当解决了海量数据的存储问题，接下来面临的海量数据的计算问题也是比较让人头疼，因为企业不仅追求可以计算，还会追求计算的速度、效率。
   2. 大数据的特点：

      1. 大 -> 海量的数据 2020年全球数据总量是35ZB;

      2. 多 ->

         • 种类多: 结构化数据(有行有列,类似于excel表格, 二维数据), 半结构化数据, 非结构化数据;

         • 数据源多: 日志, 埋点采集, 视频, 音频, 文本, 三方获取, ...

      3. 值 -> 低价值度密度: 数据中提取有价值的数据;

      4. 速度 -> 产生, 获取, 计算的速度快;

      5. 信 -> 准确度和可信赖度: 实现数据分析时是要通过有价值的数据(经过处理的数据)进行分析得到结论;

   3. 大数据应用场景：

      1. 电商推荐系统：购物，刷短视频等根据你的喜好推荐商品，视频；

      2. 金融风险管理：反欺诈，存入大量数据而成；

      3. 健康医疗：对医疗数据进行挖掘和分析，提高医疗效率和准确性；

      4. 城市交通管理：通过分析交通数据，优化交通信号灯控制、交通流量调度等，缓解交通拥堵问题，提高交通效率和旅行体验。；

      5. 等等...

   4. 大数据工作岗位：

      1. 离线数仓：存放着大量的数据并分析计算, 计算输出的结果供企业制定决策使用

         • 数仓开发工程师

         • 大数据开发工程师

         • hadoop工程师

         • spark内存计算工程师

      2. 实时计算：实时计算一般都是针对大量数据进行的，一般要求为秒级，实时计算主要分为两块:数据的实时入库、数据的实时计算。

         • 实时计算工程师

         • flink工程师

         • spark实时

      3. ETL工程师 ：ETL中三个字母分别代表的是Extract、Transform、Load，即抽取、转化、加载

      4. BI工程师, 报表工程师：从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报表开发工程师、数据挖掘工程师等，都可以称为BI工程师。