呼延十

前言来学习一下DirectMonotonicWriter类的代码. 源码版本: 8.7.0介绍先上一下源码注释:Write monotonically-increasing sequences of integers. This writer splits data into blocks and then for each block, computes the average slope, the minimum value and only encode the delta from the

前言本文学习下 Lucene 在存储大量整数时使用到的编码方法。介绍DirectWriter 用 bit 编码方式进行数组压缩的功能，它在整个数组的所有元素都不大的情况下能带来不错的压缩效果。DirectWriter 是 Lucene 为整型数组重编码成字节数组的工具，它的底层包含一系列编码器，将整型数组的所有元素按固定位长度的位存储。它按 Bit 存储，预留长度过长会浪费空间，短了会因为截断导致错误。因此需要在数组中查找最大值，由它的长度作为存储的长度。假设有一组数据{4,5,9,0}，它们的二

前言lucene 代码量还是比较多的，在没有看的很明白的情况下，先写一写新学到的工具类的一些操作吧~也是收获很多。在 lucene 写入索引文件时，为了节省空间，经常会对数据进行一些压缩，这篇文章介绍一种对 int, long 类型有用的压缩方式。即变长存储。它在 lucene 中的应用十分广泛，有事没事就用一下，因此为了熟练的理解代码，我们还是来一探究竟吧~在 lucene8.7.0 版本的代码中，它没有单独定义成类，可能是因为是一个小的功能点吧~对变长数据的写入实现在org.apache.lu

前言上一个系列还没有完结，我又来开新坑啦～接触搜索/推荐相关工作，也有两年了。工作里对lucene的接触不少，却也不精。最近工作里没有那么忙，因此想通过学习源码的方式，来对lucene进行一个系统的学习。此外，听闻lucene源码堪称面对对象设计届的典范，也想从中吸收一些代码设计/开发方面的知识。最近老是感觉自己写的代码有问题，想尝试优化却感觉非常吃力，经常一顿操作下来提升的很有限。lucene简介以下内容来自维基百科：Lucene是一套用于全文检索和搜索的开放源码程序库，由Apache软件基

背景介绍publicDBstringlistsetssorted setshashesstreamsbitmapshyperloglogsgeospatial index背景介绍以下摘自：Redis 官网。Redis is an open source (BSD licensed), in-memory data structure store, used as ...

前言介绍类型编码和底层数据结构五种常见的对象类型类型检查与命令多态内存回收对象共享对象淘汰：空转时长总结参考文章联系我前言其实关于本文，我犹豫再三。对象系统值得写一篇文章吗？从技术上来讲，当然是值。但是对于我们大部分人来说，它都是隐身的。写的话，顺序放在哪里？在 Redis 系列（九）底层数据结构之五种基础数据类型的实现中其实就提到了，那么应该在此之前先介...

作为 编译期界的大佬, JetBrains公司一直致力于提供更好的编码环境.前两天, JetBrain推出了一个新的字体 JetBrain Mono. 号称是最适合程序员的编码的字体, 我赶紧尝了尝鲜, 体验了一天之后发现确实好看, 因此推荐给大家.首先是官网 JetBrain Mono字体.看一下官方的示例:.是不是看起来很棒, 怎么安装呢?如果你的IDEA 是2019.3 之后的...

前言定义字符串对象intrawembstr浮点数如何保存？编码转换条件总结列表对象总结集合对象intsethashtable总结有序集合对象ziplist 编码skiplist 编码总结散列对象ziplist 编码hashtable 编码总结全文总结参考文章联系我前言Redis 已经是大家耳熟能详的东西了，日常...

前言定义总结参考文章联系我前言Redis 已经是大家耳熟能详的东西了，日常工作也都在使用，面试中也是高频的会涉及到，那么我们对它究竟了解有多深刻呢？我读了几本 Redis 相关的书籍，尝试去了解它的具体实现，将一些底层的数据结构及实现原理记录下来。本文将介绍 Redis 中底层的 listpack（紧凑列表） 的实现方法。 它是 Redis 的 Stream 用到的数据结构之一...

前言定义层级问题顺序问题排名问题总结参考文章联系我前言Redis 已经是大家耳熟能详的东西了，日常工作也都在使用，面试中也是高频的会涉及到，那么我们对它究竟了解有多深刻呢？我读了几本 Redis 相关的书籍，尝试去了解它的具体实现，将一些底层的数据结构及实现原理记录下来。本文将介绍 Redis 中底层的 skiplist（跳跃表） 的实现方法。 它是 Redis 中有序集...

前言定义字典哈希表哈希算法哈希冲突扩容与缩容渐进式 hash原理小应用思考问题：为什么缩容不用考虑 bgsave?总结参考文章联系我前言Redis 已经是大家耳熟能详的东西了，日常工作也都在使用，面试中也是高频的会涉及到，那么我们对它究竟了解有多深刻呢？我读了几本 Redis 相关的书籍，尝试去了解它的具体实现，将一些底层的数据结构及实现原理记录下来...

前言定义整数集合的升级整数集合分级的好处不支持降级总结参考文章联系我前言Redis 已经是大家耳熟能详的东西了，日常工作也都在使用，面试中也是高频的会涉及到，那么我们对它究竟了解有多深刻呢？我读了几本 Redis 相关的书籍，尝试去了解它的具体实现，将一些底层的数据结构及实现原理记录下来。本文将介绍 Redis 中底层的 intset（整数集合） 的实现方法。 它是...

前言定义优劣ziplist 切割大小压缩深度总结参考文章联系我前言Redis 已经是大家耳熟能详的东西了，日常工作也都在使用，面试中也是高频的会涉及到，那么我们对它究竟了解有多深刻呢？我读了几本 Redis 相关的书籍，尝试去了解它的具体实现，将一些底层的数据结构及实现原理记录下来。本文将介绍 Redis 中底层的 quicklist（快速列表） 的实现方法。 它是 Re...

前言定义压缩列表的定义压缩列表节点的定义新增节点问题：级联更新总结参考文章联系我前言Redis 已经是大家耳熟能详的东西了，日常工作也都在使用，面试中也是高频的会涉及到，那么我们对它究竟了解有多深刻呢？我读了几本 Redis 相关的书籍，尝试去了解它的具体实现，将一些底层的数据结构及实现原理记录下来。本文将介绍 Redis 中底层的 ziplist(压缩列表) 的...

前言定义优劣双向链表无环链表带有头指针和尾指针带有长度计数器总结参考文章联系我前言Redis 已经是大家耳熟能详的东西了，日常工作也都在使用，面试中也是高频的会涉及到，那么我们对它究竟了解有多深刻呢？我读了几本 Redis 相关的书籍，尝试去了解它的具体实现，将一些底层的数据结构及实现原理记录下来。本文将介绍 Redis 中最基础的 linkedlist(双端链...

前言定义优劣高性能获取字符串长度杜绝缓冲区溢出减少修改字符串产生的内存分配次数，提高修改字符串性能二进制安全兼容部分 C 语言的库函数总结SDS 限制为512M问题参考文章联系我前言Redis 已经是大家耳熟能详的东西了，日常工作也都在使用，面试中也是高频的会涉及到，那么我们对它究竟了解有多深刻呢？我读了几本 Redis 相关的书籍，尝试去了解它的具体实现，将...

很多时候,我们自己的项目有许多的子模块,之间互相有依赖,但是我们没有私服来发布打好的jar包.最常见的就是本地有一个Util包, 随手写的其他项目想要引用, 却苦于没有私服. 把代码扔到同一个项目, 强迫症有忍不住.这个问题Maven是有解决方案的.本质上还是打包发布,只是不再发布到远端的Maven仓库,而是打包完成之后, 将这个jar包安装到本地的maven即可.首先,在你的util子模块...

前言首先抛出一个问题: 给定300w字符串A, 之后给定80w字符串B, 需要求出 B中的每一个字符串, 是否是A中某一个字符串的子串. 也就是拿到80w个bool值.当然, 直观的看上去, 有一个暴力的解法, 那就是 双重循环, 再调用字符串德contains方法, 想法很美好, 现实很残酷. 如果你真的这么实现了(是的, 我做了.), 就会发现,效率低到无法接受.具体的效率测评在后文给出...

前言理论知识[什么是 Trie 树](#什么是 trie 树)[Trie 的优劣势](#trie 的优劣势)[Trie 的应用场景](#trie 的应用场景)编码实现参考文章联系我前言在做用户 query 理解的过程中，有许多需要使用词典来"识别"的过程。在此期间，就避免不了使用 Trie 树这一数据结构。因此今天我们来深入的学习一下 Trie 树相关的理论知识，并且...

前言由于最近的工作内容的关系, 经常需要对文本文件做一些处理. 每次都要写个脚本来处理实在是有点麻烦. 这时候想起来很久以前稍微接触过的AWK, 来做这个工作真的是再合适不过了.因此, 趁着这个机会, 把AWK深入学习一点,记录在此.概述AWK是一门解释型的编程语言。在文本处理领域它是非常强大的，它的名字来源于它的三位作者的姓氏：Alfred Aho， Peter Weinberger 和...