大数据介绍

什么是大数据？

​ 字面意思理解：大量的数据，海量的数据
​ 数据集的大小已经远远超过了现有普通数据库软件和工具的处理能力的数据

大数据有什么特点？

• 海量化(Volume)
  数据量大（多）:数据量从TB到PB级别
• 多样化(Variety)
  结构化数据，半结构化数据，和非结构化数据
  数据类型复杂，超过80%的数据是非结构化的
• 快速化(Velocity)
  数据量在持续增加(两位数的年增长率)
  数据的处理速度要求高
• 高价值(Value)
  在海量多样化数据的快速分析下能够发挥出更高的数据价值

大数据能做什么？

1. 海量数据快速查询 (全量查询)
在海量数据的背景下，进行数据的快速查找、快速提取(快速指查找或提取效率3秒内)
2. 海量数据的存储（数据量大，单个大文件）

• 大数据能够存储海量数据、大数据时代数据量巨大
  1TB=10241G 约26万首歌（一首歌4M）
  1PB=10241024*1G 约2.68亿首歌 （一首歌4M）
• 大数据能够存储单个大文件。
  目前市面上最大的单个硬盘大小约为10T左右。若有一个文件20T,将 无法存储。大数据可以存储单个20T文件，甚至更大。

3. 海量数据的快速计算（与传统的工具对比）
能够在海量数据的基础上进行快速计算，这里的"快速"是与传统计算方案对比。
海量数据背景下，使用传统方案计算可能要一个星期。使用大数据技术计算只要30分钟
4. 海量数据实时计算（立刻马上，最新数据）
在海量数据的背景下，对于实时生成的最新数据，需要立刻、马上传递到大数据环境，并立刻、马上进行相关业务指标的分析，并把分析完的结果立刻、马上展示给用户或者领导
5. 数据挖掘（挖掘以前没有发现的有价值的数据）
原始企业内数据无法计算出的结果，使用大数据能够计算出。
在海量数据背景下，使用数据挖掘算法，挖掘有价值的指标(不使用这些算法无法算出)

大数据的行业前景

趋势之一：
5G就是一场革命，它以技术为驱动，从人与人的连接延伸到万物互联，从个人和家庭延伸到社会各个领域，进而为社会经济、生活带来革命性的影响。
5G时代 数据传输速度更快，延时更低，数据量也将N个数量级增长，数据量将更大。
趋势之二：
与云计算、人工智能等前沿创新技术深度融合。
趋势之三：
针对制造业的大数据解决方案不断升级，助力智能制造。

大数据就业岗位

1、ETL工程师
2、数据仓库工程师
3、大数据开发工程师
4、Hadoop工程师
5、Spark/Flink工程师
6、大数据分析师
7、大数据算法工程师
8、大数据运维工程师
9、大数据解决方案

大数据技术

传统数据与大数据处理服务器系统安装对比

传统数据下服务器系统安装
在传统数据背景下，服务器系统安装中，系统硬盘、数据硬盘完全隔离。通常会将多块数据硬盘制作成LVM(逻辑卷)，即将多块物理硬盘通过软件技术“拼接”在一起形成一个大的硬盘（逻辑上是一个硬盘）。

大数据下服务器系统安装
在大数据背景下，服务器系统安装中，系统硬盘、数据硬盘完全隔离。数据硬盘必须独立挂载，每个硬盘挂载到系统的一个独立的目录下。