python,爬虫,scrapy
ElsaRememberAllBug
这个作者很懒,什么都没留下…
展开
-
python爬虫框架scrapy安装
安装scrapy的时候报错:首先用pip安装:pip install scrapy报错:忘记截图了,简而言之是要C++环境,要我下载查了网上的攻略,用whl安装twisted包,再安装scrapy。(1)安装twistedhttps://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载合适自己的包,cp后面代表pytho原创 2017-12-12 16:30:15 · 303 阅读 · 0 评论 -
scrapy安装win32api,找不到包解决方法
首次运行scrapy,报错:ModuleNotFoundError: No module named 'win32api'我是64位win,要下载这个module,选择适合型号的win32apihttps://sourceforge.net/projects/pywin32/files%2Fpywin32/安装后,还是报错,找不到这个包通过pip安装pypiwi原创 2017-12-14 10:25:51 · 494 阅读 · 0 评论 -
python爬虫框架scarpy之AttributeError: module 'scrapy' has no attribute 'spider'
用scrapy的spider做爬虫,发现运行有问题。源码:import scrapyclass PpdSpider(scrapy.spider): name='PpdSpider' start_url=['http://www.dailianmeng.com/p2pblacklist/index.html'] def parse(self,response):原创 2017-12-14 11:19:04 · 6469 阅读 · 1 评论 -
python爬虫scrapy之贷联盟黑名单爬取
1、创建项目scrapy startproject ppd2,爬取单页,主要用xpathspider里面的源码from scrapy.spiders import Spiderfrom scrapy.selector import Selectorfrom ppd.items import BlackItemclass PpdSpider(Spider): name原创 2017-12-14 15:56:14 · 975 阅读 · 0 评论