机器学习方法在搜索引擎、计算广告中简直是无处不在。
[b]spider模块,我们需要分析一个URL需要多长时间抓取一次?[/b]
URL的域名的重要性;URL的目录深度;URL中字符串;
[b]这个URL是否需要重复抓取?重复抓取的时间是多少?[/b]
抓取过几次;网页内部有多少新的链接数量?
[b]一个网站多长时间抓取页面合适?[/b]
[b]一个网站的重要性是多少?[/b]
[b]一个网页的权重是多少?PageRank[/b]
[b]分析网页,需要知道那些部分是重要部分,那些部分是框架部分?[/b]
分类问题
[b]对网页的文本提取,TF-IDF算法,首先需要分词。[/b]
分词需要训练模型,一般使用HMM 或者CRF模型。
[b]新闻网页分类[/b]
如果是新闻网页,我们需要知道这个网页是什么主题,需要分类。Topic Model 是非常常见的。
[b]网页是否重复,需要聚类。[/b]
提取重要的bag word,然后聚类。
[b]这个网站是否是垃圾站?[/b]
分析网页的原创性;索引后被点击的数量;需要分类模型。
[b]Query 分类问题[/b]
Query分类,决定是否给出一些垂直的应用。
百度对常见的产品搜索结果都做了改进。直接给出网站的导航页面。
[b]网站的导航[/b]
某些网站是否要给出导航信息。
[b]Query的纠错问题[/b]
[b]Query和网页的相关性[/b]
需要相关性模型。
[b]网页的排序[/b]
也需要回归模型。
[b]广告是否被点击,需要回归模型。[/b]
搜索广告、推荐广告、行为广告的场景不同,使用完全不同的模型。
[b]spider模块,我们需要分析一个URL需要多长时间抓取一次?[/b]
URL的域名的重要性;URL的目录深度;URL中字符串;
[b]这个URL是否需要重复抓取?重复抓取的时间是多少?[/b]
抓取过几次;网页内部有多少新的链接数量?
[b]一个网站多长时间抓取页面合适?[/b]
[b]一个网站的重要性是多少?[/b]
[b]一个网页的权重是多少?PageRank[/b]
[b]分析网页,需要知道那些部分是重要部分,那些部分是框架部分?[/b]
分类问题
[b]对网页的文本提取,TF-IDF算法,首先需要分词。[/b]
分词需要训练模型,一般使用HMM 或者CRF模型。
[b]新闻网页分类[/b]
如果是新闻网页,我们需要知道这个网页是什么主题,需要分类。Topic Model 是非常常见的。
[b]网页是否重复,需要聚类。[/b]
提取重要的bag word,然后聚类。
[b]这个网站是否是垃圾站?[/b]
分析网页的原创性;索引后被点击的数量;需要分类模型。
[b]Query 分类问题[/b]
Query分类,决定是否给出一些垂直的应用。
百度对常见的产品搜索结果都做了改进。直接给出网站的导航页面。
[b]网站的导航[/b]
某些网站是否要给出导航信息。
[b]Query的纠错问题[/b]
[b]Query和网页的相关性[/b]
需要相关性模型。
[b]网页的排序[/b]
也需要回归模型。
[b]广告是否被点击,需要回归模型。[/b]
搜索广告、推荐广告、行为广告的场景不同,使用完全不同的模型。