数据处理的常用技术

背景

在实际开发中，数据的处理有五种：获取、传输、存储、分析、转换。

编码与解码

字符-->字节，这个转换必须编码

字符(Character)计算机中使用的字母、数字、字和符号，比如'A'、'B'、'$'、'&'等。

字节(Byte)是计量单位，表示数据量多少，是计算机信息技术用于计量存储容量的一种计量单位，通常情况下一字节等于八位。
 

ASCII 码中，一个英文字母（不分大小写）为一个字节，一个中文汉字为两个字节。
UTF-8 编码中，一个英文字为一个字节，一个中文为三个字节。
Unicode 编码中，一个英文为一个字节，一个中文为两个字节。
符号：英文标点为一个字节，中文标点为两个字节。例如：英文句号 . 占1个字节的大小，中文句号 。占2个字节的大小。
UTF-16 编码中，一个英文字母字符或一个汉字字符存储都需要 2 个字节（Unicode 扩展区的一些汉字存储需要 4 个字节）。
UTF-32 编码中，世界上任何字符的存储都需要 4 个字节。

序列化与反序列化

序列化就是将对象转换成二进制数据的过程，以方便传输或存储。

反序列就是将二进制转换为对象的过程。

传输的序列化除了安全性的考虑，因为涉及到和第三方通信，就要考虑可读性和不变性。

存储的链路短，可控，所以讲究效率。

一、几种常见的序列化方式：

1、JDK 自带的序列化方式无法跨语言使用；
2、JSON 序列化大多数语言都支持，JSON 优势是使用起来简单，容易阅读，应用广泛，缺点就是不适合大数据量的场景；
3、ProtoBuf 使用需要定义 IDL 文件，序列化后体积相比 JSON 小很多，现在很多大公司都在用，gRPC 框架使用 protobuf 序列化；

转换

常用数据转换工具，比如Spring的RequestParam、RequestBody、ResponseBody内部就用了反射机制。还有Jackson等工具类。

参考文章：JAVA数据处理的常用技术