爬虫第四篇-爬虫对网站改版快速解决思路

采集数据时难免遇到采集网站的页面改版，快速解决页面改版对解析的影响对业务稳定性有重要影响

##页面改版的影响
针对不同的解析网站，影响程度不一，一般资讯类影响最小，表格类和报告类影响最大

资讯类网站

资讯类网站的采集重在采集内容，一般提取的标题 时间和内容，页面改版对解析的影响不大，通过算法提取网页内容可以自适应网页的改版

授权登录采集

用户授权登录采集网站一般不会改版，一旦改版就会和以前风格完全不同，如果是采用页面标签解析就回持续报错

文件资源采集

在html 中 URL 文件资源可以被清晰的过滤出，只是采集网页中资源 的时候，基本不受网页改版影响

网页变化监测

通过特征标签

结合解析标签 简单的确定网页是否变化，存在一定概率 误报，恰好监测的标签起了变化，但是网页整体没有改版。

simhash算法

待续…