小白的博客

两个随机User-Agent库pip install fake_useragent # 安装库from fake_useragent import UserAgentua = UserAgent()ua.randompip install faker # 安装库from faker import Fakerua = Faker()ua.user_agent()

Windows安装Redis（转！）转自https://www.cnblogs.com/wxjnew/p/9160855.html“现在我已经走到了人生的十字路口边了，我相信，在已走过的人生道路中，我一直知道其中哪一条是正确的，是的，我一直坚信我知道。但是我却从未选择那些正确的道路，为什么？因为那他妈实在太难了。”----电影《闻香识女人》一、关于RedisRedis是一个开源（BSD许可），内存存储的数据结构服务器，可用作数据库，高速缓存和消息队列代理。它支持字符串、哈希表、列表、集合、有序集合

因为主要用在Scrapy中，所以时与Scrapy中的yield比较主要关注点@inlineCallbacks中的yieldyield的用途：yield仅仅起到中断作用需要返回值需要用returnfrom twisted.internet.defer import inlineCallbacksdef ceshi1(): return 1@inlineCallbacksdef ceshi2(): r1 = yield ceshi1() r1 += 1 yi

scrapy参数传递主要由以下几种方式：全局固定参数（setting设置）同一个spider内部的固定参数传递（custom_settings）说明：不同组件之间可以通过from_crawler中的crawler以及open_spider，close_spider，process_item之中的spider传递，例如spider.name可以传递spider 的name跟请求有关的变量参数可以通过meta和item来传递不同spider之间的变量参数需要通过全局变量来传递class Envi