最近新上线的网站百度收录好久都没有收录进去,在进行查看nginx的浏览记录时发现确实又百度爬虫来过,但是页面硬是一个没有收录,google倒是收录很多但也没有用,国内没有常规无法访问,只能说百度跟google不是一个级别的 ~
扯远了回到问题本身,看到日志以及请求的页面dom来看,html里面动态(中文)内容完全被编码了,这就导致百度爬虫爬到都是编码后的内容。
解决只需要配置一下
services.Configure<Microsoft.Extensions.WebEncoders.WebEncoderOptions>(options =>
{
options.TextEncoderSettings = new System.Text.Encodings.Web.TextEncoderSettings(System.Text.Unicode.UnicodeRanges.All);
});
重新编译发布,ok