大数据--java扩展01--大数据认知

基本你进了大厂，做了后端。你就避不开大数据，虽然你可能只是一个简单的后端，但是你不可避免和数据、甚至是大数据打交道。因此啊，虽然咱们不是sql专家、不是大数据人才，但我们可以稍微掌握一点，提升下自己的技能嘛哈哈哈。

最近的几天，只要有时间我就会自己学一下大数据相关的知识，然后记录下来，给自己涨一点点学问。

数据单位

首先我们先看一下基础的数据单位吧

我认为我们先不需要知道什么是大数据，我们先知道什么是数据。而大数据只不过是数据的一个形容词而已。

数据的单位

单位	英文表示	大小	含义和例子
位	bit	1 或 0	计算机用二进制存储和处理数据。1bit是指一个二进制数位：0或1。这是存储信息的逻辑单元。
字节	Byte	8bit	计算机存储信息的基本物理单位，一个英文字母的字节是1字节
千字节	KB	1024字节	一页纸上面的文字大概是5KB
兆字节	MB	1024千字节	1个歌曲的大小大概是4MB
吉字节	GB	1024兆字节	1个电影的大小大概是1GB
太字节	TB	1024吉字节
拍字节	PB	1024太字节
艾字节	EB	1024拍字节
泽字节	ZB	1024艾字节	到2010年，人类信息总量大概是1.2ZB
尧字节	YB	1024泽字节	大到难以想象

 

你对大数据有认识嘛

我们先认识到数据是啥，数据的单位，但是你能想象到啥是大数据嘛？？？？？

大数据？？？？？？？大数据？？？？？？？？大数据？？？

严格的讲，我人生中截止到20201.4.24日为止我见过最大的数据量就是我们当时有个业务，前端收集线下用户数据，那张表大概存了800w+数据，且数据会随着时间增量快速增长，占用磁盘大概1.5G.

以前我接触的是数据、现在以后我接触的是大数据

这也是我毕业做的第一个项目，后来我转战到电商业务，现在才是数据巧妙世界的开始吧。

可以想象电商业务下的数据嘛：用户数据、卖家数据、订单交易数据、广告数据、商品数据、仓配数据、日志数据、客服数据。。。。。。。。。。多到你难以想象。虽然我不是大数据工程师，只是一个渣渣后端。。。。。但是学了java怎么可能一点大数据的知识都不会呢。。。。。

涉及到数据，大数据，那就是必会包含数据的存储、计算、调度。

想想做数据的那帮人，也挺不容易的，每天要面对那么多的数据、对这些数据进行存储、处理、分析、计算、调度。

数据之大，无外乎两类：存量数据和增量数据。对于存量数据我们只需要关心数据的访问、数据的处理、数据的存储。但是增量数据我们就要关心数据的实时查询、实时计算、实时处理。

---

大数据的生产-存储-加工-形成数据产品

任何一个大厂一定有自己的数据，这种数据如果利用好了，能给企业带来巨大福利。

实际可以把想象一下企业里面的数据流转过程。

• 企业通过外部服务每天生产一堆数据（在电商里可能就是用户数据、交易数据、商品数据。。。。）
• 生产出来的这部分数据除了存储在其自身的业务系统里，这些数据还会存储在一个大仓中，企业可以利用这些基础数据做分析产生商业价值
• 说实话，以前觉得数据没什么。但是慢慢发现数据好多啊，分析分析好有用啊，数据整合整合可以供各个业务线使用，也许这就是互联网码农的感受吧，我们负责生产数据、存储数据、加工数据、最终又归我们所用啦