- 博客(5)
- 收藏
- 关注
RSS订阅原创 json瘦身减肥那些事！
无论使用何种编程语言，json格式的数据已被广泛应用，不论是数据的传输还是存储，在很多应用场景下，你可能想进一步地压缩JSON字符串的长度，以提升传输效率，如果你使用的是nosql数据库，你可能想进一步的压缩json字符串的长度来节省你的存储空间，接下来，我将介绍一下目前最常用的json数据压缩技术（CJSON和HPack）的实现。其次，XML 和 JSON 格式的数据信息都包含在了序列化之后的数据中，不需要任何其它信息就能还原序列化之后的数据；需要数据发送发和数据接收方约定好字段的结构。
2023-06-15 21:38:31
85
1
原创 Canal-阿里的mysql异地同步中间件
从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议。canal [kə'næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)
2023-06-10 23:36:47
117
原创 大开眼界，一种新的树形表结构设计方法？
我们从根节点开始，给董事长左值设为1，下级部门总经理左值设为2，以此类推地沿着边缘开始遍历，给每个节点加上左值，遇到叶子节点处给节点加上右值，再继续向上沿着边缘继续遍历，遍历结束回到根节点右侧,你将得到类似这样的结构。但是问题来了，这种结构如果要想查出一个节点下所有的子节点，必须使用递归查询，在树层数很多的场景下，就很难保证效率了，今天我看了一个设计。在我目前看来，这个方法的唯一缺点就是，每一次的新增或删除，操作节点的后续边缘走到的节点都要加/减2操作。设计部，5 - 1 == 4，因此他是叶子节点。
2023-06-08 22:38:49
92
原创 如何查询最热门的查询串？
虽然字符串总数比较多，但去重后不超过 300w，因此，可以考虑把所有字符串及出现次数保存在一个 HashMap 中，所占用的空间为 300w*(255+4)≈777M（其中，4 表示整数占用的 4 个字节）。在遍历字符串时，在前缀树中查找，如果找到，则把结点中保存的字符串次数加 1，否则为这个字符串构建新结点，构建完成后把叶子结点中字符串的出现次数置为 1。接着遍历 map，构建一个 10 个元素的小顶堆，若遍历到的字符串的出现次数大于堆顶字符串的出现次数，则进行替换，并将堆调整为小顶堆。
2023-06-06 22:05:20
66
原创 如何从大量的 URL 中找出相同的 URL？
给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。，即：把一个文件中的 URL 按照某个特征划分为多个小文件，使得每个小文件大小不超过 4G，这样就可以把这个小文件读到内存中进行处理了。中每个 URL，看在 HashSet 集合中是否存在，若存在，说明这就是共同的 URL，可以把这个 URL 保存到一个单独的文件中。使用同样的方法遍历文件 b，把文件 b 中的 URL 分别存储到文件 b。这样处理过后，所有可能相同的 URL 都在对应的小文件中，即 a。
2023-06-05 22:57:18
126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人