《信息检索导论》第二章总结

建立倒排记录表之前

一、文件的编码

一般一个文件都是以字节的方式存储的，如果想要让其可读，就必须要通过正确的编码方式转换成字符；就像Java IO一样，如果没有通过正确的编码方式打开一个文件，会出现乱码。因此在一系列处理步骤之前，知道文档的编码是重要的。一般在文档的meta data部分都会保存编码方式。

二、索引粒度

索引粒度的选取也是很重要的。因为如果把索引粒度选的太大，比如你想找Information Retrieval，如果索引粒度为整本书，则只要出现Information和Retrieval的书都会被选中，这非常不精确。

三、Tokenization

词条化：这个方法就像Java中StringTokenizer的用法，将一个文档（长的字符串）切分成一个个小单词。

Token：词条化后的一个个单词；

Type：将词条化的单词放入集合后的结果。