![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
爬虫
文章平均质量分 77
huangzyi
这个作者很懒,什么都没留下…
展开
-
scrapy并发爬虫
通过CrawlerProcessimport scrapyfrom scrapy.crawler import CrawlerProcessclass MySpider1(scrapy.Spider): # Your first spider definition ...class MySpider2(scrapy.Spider): # Your second spider definition ...process = CrawlerProcess()p原创 2021-04-19 16:50:27 · 605 阅读 · 1 评论 -
pyspider安装与初次使用的那些坑
pyspider是一个python的爬虫框架,安装过程遇到不少坑,在这里总结一下。安装安装只需要简单用pip安装就可以了pip install pyspider测试使用pyspider或pyspider all测试是否安装成功。C:\Users\hp>pyspider allc:\users\hp\anaconda3\lib\site-packages\pyspider\libs\utils.py:196: FutureWarning: timeout原创 2021-03-03 15:35:03 · 1711 阅读 · 2 评论 -
twisted笔记三:當Deferred遇上Thread(转载)
Deferred不會自動實現將阻塞過程轉為非阻塞過程,雖然它已經有那樣的機制但還是要你去多走一步。要將阻塞過程轉為真正的非阻塞過程,那麼只有借用線程。但至於線程調用你不用太擔心,twisted已為你準備好一個方便的用法。就是將Deferred綁在Thread上,這樣就有了deferToThread,味道不比牛奶加巧克力差。 deferToThread在twisted文檔的說明,洋墨水喝得比較少,就不照字面翻譯了。大概意思是將函數f放在線程裡並作為Deferred返回,ar...转载 2021-01-13 14:21:50 · 330 阅读 · 2 评论 -
twisted笔记二:twisted的那三板斧(转载)
twisted笔记二:twisted的那三板斧(转载)一个twisted网络程序最基本的三个构件reactor、Factory、Protocol,我称之为twisted三板斧。想当年程爷爷就靠那三板斧帮李世民打下半壁江山,威力自然不可小觎。传说中程咬金还有那绝杀的半个板斧,不过,不到关键时刻不会使出,绝杀的东西用得多了,就不是绝杀。希望twisted也有那绝杀的半个板斧。先看一下代码。#!/usr/bin/env python#coding=utf-8from twisted.internet i转载 2021-01-13 14:10:25 · 109 阅读 · 0 评论 -
twisted笔记一:Deferred笔记(搬运)
twisted笔记一:Deferred笔记(搬运)最近在研究twisted,但官方文档写的太简洁,网上信息太少,于是翻墙找到了一位大佬的博客,找到了一些信息。转自:https://sites.google.com/site/mypynotes/twisted-1/deferredDeferred的简单套路从twisted的文档入手,将Deferred独立出来简单的说明作用与使用方法,这样更能快速对Deferred有深刻的了解。一、学习资料主要参考资料官方文档http://twistedmatr转载 2021-01-13 13:54:36 · 150 阅读 · 0 评论