基本你进了大厂,做了后端。你就避不开大数据,虽然你可能只是一个简单的后端,但是你不可避免和数据、甚至是大数据打交道。因此啊,虽然咱们不是sql专家、不是大数据人才,但我们可以稍微掌握一点,提升下自己的技能嘛哈哈哈。
最近的几天,只要有时间我就会自己学一下大数据相关的知识,然后记录下来,给自己涨一点点学问。
数据单位
首先我们先看一下基础的数据单位吧
我认为我们先不需要知道什么是大数据,我们先知道什么是数据。而大数据只不过是数据的一个形容词而已。
单位 | 英文表示 | 大小 | 含义和例子 |
位 | bit | 1 或 0 | 计算机用二进制存储和处理数据。1bit是指一个二进制数位:0或1。这是存储信息的逻辑单元。 |
字节 | Byte | 8bit | 计算机存储信息的基本物理单位,一个英文字母的字节是1字节 |
千字节 | KB | 1024字节 | 一页纸上面的文字大概是5KB |
兆字节 | MB | 1024千字节 | 1个歌曲的大小大概是4MB |
吉字节 | GB | 1024兆字节 | 1个电影的大小大概是1GB |
太字节 | TB | 1024吉字节 | |
拍字节 | PB | 1024太字节 | |
艾字节 | EB | 1024拍字节 | |
泽字节 | ZB | 1024艾字节 | 到2010年,人类信息总量大概是1.2ZB |
尧字节 | YB | 1024泽字节 | 大到难以想象 |
你对大数据有认识嘛
我们先认识到数据是啥,数据的单位,但是你能想象到啥是大数据嘛?????
大数据???????大数据????????大数据???
严格的讲,我人生中截止到20201.4.24日为止我见过最大的数据量就是我们当时有个业务,前端收集线下用户数据,那张表大概存了800w+数据,且数据会随着时间增量快速增长,占用磁盘大概1.5G.
以前我接触的是数据、现在以后我接触的是大数据
这也是我毕业做的第一个项目,后来我转战到电商业务,现在才是数据巧妙世界的开始吧。
可以想象电商业务下的数据嘛:用户数据、卖家数据、订单交易数据、广告数据、商品数据、仓配数据、日志数据、客服数据。。。。。。。。。。多到你难以想象。虽然我不是大数据工程师,只是一个渣渣后端。。。。。但是学了java怎么可能一点大数据的知识都不会呢。。。。。
涉及到数据,大数据,那就是必会包含数据的存储、计算、调度。
想想做数据的那帮人,也挺不容易的,每天要面对那么多的数据、对这些数据进行存储、处理、分析、计算、调度。
数据之大,无外乎两类:存量数据和增量数据。对于存量数据我们只需要关心数据的访问、数据的处理、数据的存储。但是增量数据我们就要关心数据的实时查询、实时计算、实时处理。
大数据的生产-存储-加工-形成数据产品
任何一个大厂一定有自己的数据,这种数据如果利用好了,能给企业带来巨大福利。
实际可以把想象一下企业里面的数据流转过程。
- 企业通过外部服务每天生产一堆数据(在电商里可能就是用户数据、交易数据、商品数据。。。。)
- 生产出来的这部分数据除了存储在其自身的业务系统里,这些数据还会存储在一个大仓中,企业可以利用这些基础数据做分析产生商业价值
- 说实话,以前觉得数据没什么。但是慢慢发现数据好多啊,分析分析好有用啊,数据整合整合可以供各个业务线使用,也许这就是互联网码农的感受吧,我们负责生产数据、存储数据、加工数据、最终又归我们所用啦