![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
Gcers
这个作者很懒,什么都没留下…
展开
-
scrapy 爬取豆瓣小组列表
首先先登录豆瓣,并获取登录后得cookes 首先重写start_requests方法 在里面设置cookes 并设置需要请求得网址和参数 然后开始爬取 我获得了数据保存在txt文件 ...原创 2019-06-19 11:51:59 · 747 阅读 · 0 评论 -
python scrapy demo 爬取糗事百科
爬取糗事百科得数据,本demo可以跑起来 class DemoSpider(scrapy.Spider): name = 'demo' end = 1 url = 'https://www.qiushibaike.com/text/page/' start_urls = [url+str(end)] def parse(self, response): ...原创 2019-06-15 14:12:30 · 249 阅读 · 0 评论 -
scrapy 爬取取糗事百科的图片
获得图片 传入下载得item name = 'demo' end = 1 url = 'https://www.qiushibaike.com/pic/' start_urls = [url+str(end)] def parse(self, response): it = ScrapydemoItem() mt = response.xpath('.//div[@class...原创 2019-06-15 16:51:27 · 224 阅读 · 0 评论