文件名搜索分词设计

期望目标：能够实现String.contains操作。
举例：”sd.mp4” 不管是搜”s”、”m”、”.”、”d.m”、”mp”都应该可以搜出该关键词。核心难度在于倒排索引的关键词覆盖。

参考内部IM的搜索机制如下：

由于IM搜索主要用于群名、人名，垃圾数据少，并且多为中文，因此可以对中文进行拼音提取，对英文进行多段冗余。
这样做有两个好处，第一，开发量低；第二，可以省去搜索补全的部分功能，直接按拼音或缩写进行查询。
但是也有一些缺点，第一，汉字的拼音冗余（相对于搜索补全功能单独做）；第二，英文高度冗余（相对于对英文单个字母进行分词）
但是由于人名、群名数据的固有特点，缺点非常非常不明显（英文少，汉字重复率低）。

但是对于文件搜索，这种方式并不适合，原因如下：
第一，不同于人名，文件名重复的内容非常多，会有大量无用拼音产生。
第二，不同于人名，文件名有非常多的“英文”，高度冗余会造成索引内容过多（排队握手问题，指数级增长）。
在这个场景下，更合适的方法是每个字符进行倒排索引，每个字符都作为一个词。然后搜索时使用和顺序相关的“match_phrase”。

那如何对每个字符进行分词呢？
ik、ansj中并没有找到类似的Token化方法，于是有了自己写分词器的念头