建立倒排记录表之前
一、文件的编码
一般一个文件都是以字节的方式存储的,如果想要让其可读,就必须要通过正确的编码方式转换成字符;就像Java IO一样,如果没有通过正确的编码方式打开一个文件,会出现乱码。因此在一系列处理步骤之前,知道文档的编码是重要的。一般在文档的meta data部分都会保存编码方式。
二、索引粒度
索引粒度的选取也是很重要的。因为如果把索引粒度选的太大,比如你想找Information Retrieval,如果索引粒度为整本书,则只要出现Information和Retrieval的书都会被选中,这非常不精确。
三、Tokenization
词条化:这个方法就像Java中StringTokenizer的用法,将一个文档(长的字符串)切分成一个个小单词。
Token:词条化后的一个个单词;
Type:将词条化的单词放入集合后的结果。