python3 [爬虫入门实战]爬虫之scrapy安装与配置教程

python3 [爬虫入门实战]爬虫之scrapy安装与配置教程

标签: python爬虫scrapy
77人阅读 评论(0) 收藏 举报
分类:

不得不说,自己经历过的,才是真的经历过,有很多网上的教程并不是很好,都是一把辛酸泪啊。

网上很多教程都是python2.7的,少有python3的教程,找起资料来还是挺难的。搞了算是蛮久的,一个上午加上半个晚上, 不过最终还是搞出来了


总结一下:方法对了,安装的方法还是蛮简单的

前人的经验,别一开始就上来

pip install Scrapy

不论如何这个绝对是有问题的

结果就是:

error: Unable to find vcvarsall.bat

然后你就是到处找啊找啊,网上百度下来的教程基本上的解决方法就是下载版本对应的visual studio,但是也太大了。。。。。。而且网速看不下去啊

正确的姿势应该是这样子的:

1 使用wheel安装
准备好这个网站:http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

安装步骤姿势:
1 安装wheel

pip install wheel

成功的样子:

这里写图片描述

然后这个网站:
http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
Scrapy

下载, 建议放在python35 bin下带有.exe 路径下,这样子比较好,毕竟文件是比较重要的说

2 在该控制台输入:pip install [whell]
注:[whell]表示你的.whl文件,一定要全名,XXXX.whl

安装过程中可能会出现:

Failed to build XXXX
不过没有关系,但是到最后你还是会出现

twisted –》error: Unable to find vcvarsall.bat

因为scrapy框架是基于twisted 的, 所以又要去上面那个网站:

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

搜Twisted

Twisted, an event-driven networking engine.

Twisted‑17.5.0‑cp27‑cp27m‑win32.whl
Twisted‑17.5.0‑cp27‑cp27m‑win_amd64.whl
Twisted‑17.5.0‑cp34‑cp34m‑win32.whl
Twisted‑17.5.0‑cp34‑cp34m‑win_amd64.whl
Twisted‑17.5.0‑cp35‑cp35m‑win32.whl
Twisted‑17.5.0‑cp35‑cp35m‑win_amd64.whl
Twisted‑17.5.0‑cp36‑cp36m‑win32.whl
Twisted‑17.5.0‑cp36‑cp36m‑win_amd64.whl

选择对于的版本进行下载:cp35代表的是Python版本是多少,这里我的版本是python35,操作系统是win64位的,所以我这里进行Twisted‑17.5.0‑cp35‑cp35m‑win_amd64.whl 文件的下载

输入命令:

pip install [whell]

注意:这里的为whell还是文件的绝对路径,并且带上文件格式.whl

最后:安装成功之后

进行pip install scrapy

试着开始第一个项目:

scrapy startproject firstscrapy

最后进行导入到pycharm IDE中,

在pycharm 中选择
这里写图片描述

右键run就行了。

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值