-
大数据的概念:
- 什么是大数据:
- 海量的数据:通常是PB/EB级的数据;
- 通过一些技术存储和处理大量的数据;
- 数据存储的单位:
单位
等价关系
1Byte
8bit
1K(千)
1024Byte
1MB(兆)
1024K
1G(吉)
1024M
1T(太)
1024G
1P(拍)
1024T
1E(艾)
1024P
1Z(泽)
1024E
1Y (尧)
1024Z
1B(布)
1024Y
1N(诺)
1024B
1D(刀)
1024N
- 大数据解决什么问题?
- 海量数据存储: 数据分析的前提是有数据,数据存储的目的是支撑数据分析。究竟怎么去存储庞大的数据量,是开展数据分析的企业在当下面临的一个问题。
- 海量数据运算: 当解决了海量数据的存储问题,接下来面临的海量数据的计算问题也是比较让人头疼,因为企业不仅追求可以计算,还会追求计算的速度、效率。
- 大数据的特点:
-
大 -> 海量的数据 2020年全球数据总量是35ZB;
-
多 ->
-
种类多: 结构化数据(有行有列,类似于excel表格, 二维数据), 半结构化数据, 非结构化数据;
-
数据源多: 日志, 埋点采集, 视频, 音频, 文本, 三方获取, ...
-
-
值 -> 低价值度密度: 数据中提取有价值的数据;
-
速度 -> 产生, 获取, 计算的速度快;
-
信 -> 准确度和可信赖度: 实现数据分析时是要通过有价值的数据(经过处理的数据)进行分析得到结论;
-
-
大数据应用场景:
-
电商推荐系统:购物,刷短视频等根据你的喜好推荐商品,视频;
-
金融风险管理:反欺诈,存入大量数据而成;
-
健康医疗:对医疗数据进行挖掘和分析,提高医疗效率和准确性;
-
城市交通管理:通过分析交通数据,优化交通信号灯控制、交通流量调度等,缓解交通拥堵问题,提高交通效率和旅行体验。;
-
等等...
-
- 大数据工作岗位:
-
离线数仓:存放着大量的数据并分析计算, 计算输出的结果供企业制定决策使用
-
数仓开发工程师
-
大数据开发工程师
-
hadoop工程师
-
spark内存计算工程师
-
-
实时计算:实时计算一般都是针对大量数据进行的,一般要求为秒级,实时计算主要分为两块:数据的实时入库、数据的实时计算。
-
实时计算工程师
-
flink工程师
-
spark实时
-
-
ETL工程师 :ETL中三个字母分别代表的是Extract、Transform、Load,即抽取、转化、加载
-
BI工程师, 报表工程师:从需求分析师到数据仓库架构师、ETL工程师、数据分析工程师、报表开发工程师、数据挖掘工程师等,都可以称为BI工程师。
-
- 什么是大数据:
大数据(bigdata)
最新推荐文章于 2024-08-29 14:41:03 发布
![](https://img-home.csdnimg.cn/images/20240711042549.png)