天网（TSE）关键词与正文的匹配算法(重点在网页净化）

天网（TSE）关键词与正文的匹配算法（做法）  

着重说网页净化部分、对应《搜索引擎-原理、技术与系统》的第七章第一节

1.根据重要信息标签（<b><I><strong>等）算出网页中各内容块的权重。

2.根据内容块的权重以及关键词i在各块中出现的频率算出关键词i在笨页面中的权重wi

(上面2步在传统的文本处理领域常用TF*IDF方法，而不是上面这种方法。相比之下，天网的算法因为先利用网页的特点给网页内容快加权重，启动净化网页、降嘈的作用，是得到的权重更加真实，更适用于网页与关键词之间的匹配）

3.当用户输入关键组时，天网再使用向量空间模型，比较关键词（向量）与网页（向量）夹角偏差程度而得知两者的匹配情况

 

以上所写的只适合在你看完《搜索引擎-原理、技术与系统》一书第七章第一节后，在没有看懂的情况下帮你梳理思路，看上面的步骤比较难理解。毕竟天网的这个算法还是有很多先进之处。

 

any questiones, please communicate with me. rockycqu@gmail.com