E.W的博客

前置环境windows 10 操作系统tesseract-ocr-w64-setup-v5.0.0-alpha.20191030.exe 安装路径在C:\Program Files\Tesseract-OCRtesserocr-2.4.0-cp37-cp37m-win_amd64.whl 安装方法：pip install ./tesserocr-2.4.0-cp37-cp37...

url = response.selector.xpath(’//*[@class=‘lbf-pagination-item-list’]//li[9]/a/@href’).extract()[0]print(url)yield scrapy.Request(url, callback=self.parse)如上图代码，scrapy 爬虫过程中，在实现翻页时，偶然遇见如下报错：Missin...

Scrapy数据流是由执行的核心引擎(engine)控制，流程是这样的：1、爬虫引擎获得初始请求开始抓取。2、爬虫引擎开始请求调度程序，并准备对下一次的请求进行抓取。3、爬虫调度器返回下一个请求给爬虫引擎。4、引擎请求发送到下载器，通过下载中间件下载网络数据。5、一旦下载器完成页面下载，将下载结果返回给爬虫引擎。6、引擎将下载器的响应通过中间件返回给爬虫进行处理。7、爬虫处理响应，并...

以下摘自这篇文章：https://blog.csdn.net/qq_23926575/article/details/76375337在爬虫中广泛运用的多线程+协程的解决方案，亲测可提高效率至少十倍以上。本文既然提到了线程和协程，我觉得有必要在此对进程、线程、协程做一个简单的对比，了解这三个程之间的区别。以下摘自这篇文章：http://www.cnblogs.com/guokaixin/p/...

scrapy crawl douban_spider -o jData.jsonscrapy crawl douban_spider -o cData.csv settings中:优先级数越小, 表示优先级高 

1、基础知识1.1 http的过程先是在对应的浏览器里面输入url，通过浏览器来发送请求到目标服务器（url指向的服务器），目标服务会根据请求，发送回响应给浏览器，浏览器对相应进行解析。1.1.1 请求(1)请求方式：get()/post()(2)请求url：url有参数，一般是在‘？’后面的是参数，有多个参数的话，通过‘&’连接起来(3)请求头：User-Agen...