![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
云裳容
高级CtrlCV工程师
展开
-
Python之Scrapy爬虫实战--爬取妹子图
前言想必最近大家和我一样都是待在家里吧!反正闲着也是闲着,不如来学习啊,你过来啊!花了点时间在某度的帮助下学习了scrapy,然后自己写下了第一个爬虫作品,好开心呀,嘻嘻。PS:代码可能不堪入目,希望能得到各位大牛的指导!不废话了,上码代码完整代码放到GitHub了,有兴趣的可以看看,顺便star一下哦(手动狗头)https://github.com/chenmg2020/scrapy_...原创 2020-02-22 08:03:01 · 6380 阅读 · 8 评论 -
Python之Scrapy基础知识--Request详解
介绍Request类是一个http请求的类,对于爬虫而言是一个很重要的类。通常在Spider中创建这样的一个请求,在Downloader中执行这样的一个请求。同时也有一个子类FormRequest继承于它,用于post请求。在Spider中通常用法: yield scrapy.Request(url = ‘请求的网址’)类属性和方法有:urlmethodheadersbodymet...转载 2020-02-17 10:29:24 · 2425 阅读 · 0 评论 -
Python之Scrapy爬虫实战--绕过网站的反爬
设置随机UA修改middlewares.pyfrom fake_useragent import UserAgentclass RandomUserAgentMiddleware(object): def process_request(self, request, spider): ua = UserAgent() request.heade...原创 2020-02-22 07:53:59 · 2034 阅读 · 0 评论 -
Python之Scrapy爬虫实战--新建scrapy项目
C:\Users\chenmg>workon spider(spider) C:\Users\chenmg>cd C:\Users\chenmg\PycharmProjects\spider(spider) C:\Users\chenmg\PycharmProjects\spider>scrapy startproject scrapy_testNew Scrapy p...原创 2020-02-22 07:54:24 · 1376 阅读 · 0 评论