全文搜索怎么给查询语句与文档相关性打分

朴素想法

用户输入一个查询query，query由若干词（term）组成，文档也由若干词（term）组成。那么怎么评判查询和文档的相关性的高低。

很朴素简单的想法就是文档中包含的term与查询query中包含的term，两者越多相同的则说明越相关。比如query为”animal cat”，文档一内容为”cat dog bird animal”，文档二内容为”cat dog bird tiger”，则认为query与文档二的相关性比文档一的高。

词权重

现在缺少词权重，比如一个文档中cat出现次数为2，而dog次数为1，那么cat的权重应该高一些。比如cat在10个文档出现和在1个文档出现也有不同的权重。

一般来说，可以由两方面来影响某文档某term的权重：
1. 该文档词频（term frequency）：该文档出现该term的次数，tf越大说明越重要。
2. 文档词频（document frequency）：包含该term的文档数，df越大说明越不重要，说明它更大众。

于是某个term的权重可定为：