爬虫
我是菜鸟小白
这个作者很懒,什么都没留下…
展开
-
scrapy获取目标cookie
python2.7代码实现:爬虫主文件:# -*- coding: utf-8 -*-import sysfrom scrapy.http import Request#python语言转码,非必要reload(sys)sys.setdefaultencoding("utf-8")import scrapy#定义爬虫类,必须继承scrapy.Spiderclass Dmo...原创 2019-05-26 20:15:52 · 2051 阅读 · 0 评论 -
scrapy知网爬虫项目-1(scrapy了解及环境搭建)
Scrapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯,信号、数据传递等。Scheduler(调度器): 它负责接受引擎发送过来的Request请求,并按照一定的方式进行整理排列,入队,当引擎需要时,交还给引擎。Downloader(下载器): 负责下载Scrapy Engine(引擎)发送的所有Requests请求...转载 2019-05-27 14:29:05 · 687 阅读 · 0 评论 -
scrapy知网爬虫项目-2(项目创建)
新建一个目录文件开启命令行进入该文件夹下输入命令:scrapy startproject mySpider创建的项目目录如下:zhiwang/ scrapy.cfg zhiwang/ __init__.py items.py pipelines.py settings.py spiders/ ...原创 2019-05-27 17:11:30 · 549 阅读 · 0 评论