chunmou1971的博客

转载 http状态码521——记一次网页爬取

前段时间写了一个各应用市场某款应用的定时爬取任务，收集应用的下载量、评价、评分等信息然后报表展现，之前一直运行正常，前两天相关人员反馈数据出现异常，第一感觉肯定是该应用市场的网页结构发生变化了。 在本地运行数据爬取任务，发现确实有个应用市场报521错误，这个错误没见过啊，开始网上各种搜，发现...