![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
卡布达1号
寒蝉凄切,对长亭晚
展开
-
爬虫的增量式抓取和数据更新
不管是产生新页面,还是原本的页面更新,这种变化都被称为增量, 而爬取过程则被称为增量爬取。那如何进行增量式的爬取工作呢?回想一下爬虫的工作流程:发送URL请求 ----- 获得响应 ----- 解析内容 ----- 存储内容我们可以从几种思路入手:在发送请求之前判断这个URL是不是之前爬取过 在解析内容后判断这部分内容是不是之前爬取过 写入存储介质时判断内容是不是已经在介质中存在...原创 2019-05-11 13:27:08 · 5021 阅读 · 0 评论 -
python爬虫面试遇到的问题
python爬虫面试遇到的问题原创 2019-07-18 19:42:51 · 663 阅读 · 0 评论