![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
凯凯丽
这个作者很懒,什么都没留下…
展开
-
Scrapy 框架介绍
Scrapy 是用纯 Python 实现一个为了爬取网站数据、提取结构性数据而编写的应用框架, 用途非常广泛。框架的力量,用户只需要定制开发几个模块就可以轻松的实现一个爬虫,用来抓取网页 内容以及各种图片,非常之方便。Scrapy 使用了 Twisted['twɪstɪd](其主要对手是 Tornado)异步网络框架来处理网络通讯, 可以加快我们的下载速度,不用自己去实现异步框架,并且包含了各...原创 2019-09-23 15:12:25 · 111 阅读 · 0 评论 -
常见的反爬虫措施以及解决方法
一、通过 Headers 反爬虫从用户请求的 Headers 反爬虫是最常见的反爬虫策略。很多网站都会对 Headers 的 User-Agent 进行检测,还有一部分网站会对 Referer 进行检测(一些资源网站的防盗链就是检测 Referer)。如果 遇到了这类反爬虫机制,可以直接在爬虫中添加 Headers,将浏览器的 User-Agent 复制到爬虫的 Headers 中;或者将 Re...原创 2019-09-24 11:25:25 · 5636 阅读 · 0 评论