深入搜索引擎--机器学习方法

机器学习方法在搜索引擎、计算广告中简直是无处不在。

[b]spider模块，我们需要分析一个URL需要多长时间抓取一次？[/b]
URL的域名的重要性；URL的目录深度；URL中字符串；

[b]这个URL是否需要重复抓取？重复抓取的时间是多少?[/b]
抓取过几次；网页内部有多少新的链接数量？

[b]一个网站多长时间抓取页面合适？[/b]

[b]一个网站的重要性是多少？[/b]

[b]一个网页的权重是多少？PageRank[/b]

[b]分析网页，需要知道那些部分是重要部分，那些部分是框架部分？[/b]
分类问题


[b]对网页的文本提取，TF-IDF算法，首先需要分词。[/b]
分词需要训练模型，一般使用HMM 或者CRF模型。

[b]新闻网页分类[/b]
如果是新闻网页，我们需要知道这个网页是什么主题，需要分类。Topic Model 是非常常见的。

[b]网页是否重复，需要聚类。[/b]
提取重要的bag word，然后聚类。

[b]这个网站是否是垃圾站？[/b]
分析网页的原创性；索引后被点击的数量；需要分类模型。


[b]Query 分类问题[/b]

Query分类，决定是否给出一些垂直的应用。

百度对常见的产品搜索结果都做了改进。直接给出网站的导航页面。

[b]网站的导航[/b]
某些网站是否要给出导航信息。

[b]Query的纠错问题[/b]

[b]Query和网页的相关性[/b]
需要相关性模型。

[b]网页的排序[/b]
也需要回归模型。

[b]广告是否被点击，需要回归模型。[/b]
搜索广告、推荐广告、行为广告的场景不同，使用完全不同的模型。