什么是大数据 小白必看

介绍

1.大数据指数据集的大小超过了现有典型的数据库软件和工具的处理能力的数据

特点

1.海量化（Volume） 数据量从TB到PB级别
2.多样化（Variety） 数据类型复杂，超过80%的数据是非结构化的
3.快速化（Velocity) 数据量在持续增加(两位数的年增长率)数据的处理速度要求高
4.高价值（Value） 在海量多样数据的快速分析下能够发挥出更高的数据价值

用法

快速查询 全量查询
数据存储 量大、文件大
快速计算 对比传统方案
实时计算 最新数据
数据挖掘 新价值

快速查询

海量数据快速查询，在海量数据的背景下，进行数据的快速查找、快速提取。（快速指 查找或提取效率3秒内）

例：每个用户查询上月手机流量记录或上月通话明细。都是在海量用户中查询某一个人的记录，三秒内出结果

数据存储

传统数据计算：
1.数据量小(基本单位是MB、GB)
2.数据种类少（大都为结构化数据）
3.增长速度慢

海量数据存储：
1.大数据能够存储海量数据，大数据时代数据量巨大
1TB=10241G 约26万首歌（一首歌4M）
1PB=10241024*1G 约2.68亿首歌 （一首歌4M）
2.大数据能够存储单个大文件，目前市面上最大的单个硬盘大小约为10T左右。若有一个文件20T,将 无法存储。大数据可以存储单个20T文件，甚至更大

快速计算（离线）

能够在海量数据的基础上进行快速计算，这里的“快速”是与传统计算 方案对比。海量数据背景下，使用传统方案计算可能需要一星期时间。使用大数据 技术计算只需要30分钟。
例：计算全国移动用户（全国数据量大），全年内通话总时间（每个人 一年通话总和）大于1万分钟的

实时计算

在海量数据的背景下，对于实时生成的最新数据，需要立刻、马上传递到大数据环境，并立刻、马上进行相关业务指标的分析，并把分析完的结果立刻、马上展示给用户或者领导。
例：欠费的手机充话费，充值完成后，手机几秒钟后就能使用。
双十一实时交易大屏

数据挖掘

挖掘前所未有的新的价值点，原始企业内数据无法计算出的结果，使用大数据能够计算出。
例：啤酒和尿不湿。超市原始数据没有计算出两者之间的关系，使用大数据计算后，发现将两者放的很近后，两者的销量都会有有大幅提升。原因在于国外大部分买尿不湿的都是男性，男性喜好和啤酒，买尿不湿时顺便那些啤酒很惬意。

趋势

1.5G就是一场革命，它以技术为驱动，从人与人的连接延伸到万物互联，从个人和家庭延伸到社会各个领域，进而为社会经济、生活带来革命性的影响。5G时代数据传输速度更快，延时更低，数据量也将N个数量级增长，数据量将更大
2.与云计算、人工智能等前沿创新技术深度融合。
3.针对制造业的大数据解决方案不断升级，助力智能制造。

就业岗位

1.ETL工程师
2.数据仓库工程师
3.大数据开发工程师
4.Hadoop工程师
5.Spark/Flink工程师
6.大数据分析师
7.大数据算法工程师
8.大数据运维工程师
9.大数据解决方案

大数据技术