WIndows下Python-Scrapy安装

本文详细介绍了在Windows下安装Python爬虫框架Scrapy的步骤,包括安装Python、pywin32、zope.interface、pyOpenSSL、twisted、lxml和easytool等依赖。提供各组件下载链接,并分享了安装验证方法,帮助初学者顺利搭建Scrapy环境。
摘要由CSDN通过智能技术生成

Windows 下Scrapy安装

学习Python,必然会为Python强大的网络功能所惊叹。作为一个Python的初学者,我非常希望可以自己写一个爬虫,去爬爬一些网站的数据。Scrapy工具可以帮助我们快速的实现用Python做一个爬虫的功能。
好了废话,不多说,直接开始简述我在Windows下安装Scrapy的过程及经验。(由于初学,可能存在着一些理解错误和问题,欢迎大家指出批评,大家一起学习交流)

安装的步骤过程大概分为以下几步:
1、安装Python,配置好Python环境(这感觉是废话o(╯□╰)o)
2、安装pywin32
3、安装zope.interface
4、安装pyOpenSSL
5、安装twisted
6、安装lxml
7、安装easytool
8、最后安装Scrapy

如果大家的Python安装版本和我一样,都是Python2.7,可以不必再去官网下载各个插件的安装包了,我在这为大家提供(是我在安装时下载的),链接: http://pan.baidu.com/s/1qWmNsBi 密码: gteq

1、在安装好Python,以及配置好Python环境之后。才可以进行下一步。

2、安装pywin32,在http://sourceforge.net/projects/pywin32/files/这个网站上,选择和你Python对应的版本下载,安装。只需双击,如果版本和你的Python是对应的,则会自动识别出安装目录,否则则是版本不对。(下面的插件安装都是这样,自动识别Python路径)(Python2.7的见安装包中pywin32-219.win32-py2.7.exe)

安装成功之后,可通过cmd运行Python验证,出现以下,则安装成功
这里写图片描述
(对于这个,其实我有疑问,在我没有安装pywin32的时候,也出现了图中红线的东东。当时我以为我的Python自带安装了pywin32,可是在最后运行Scrapy的时候提示了没有安装pywin32,于是后来重新安装上pywin32就没有问题。对于这个,如果有哪位朋友知道,可以再评论中指教一二)

3、安装zope.interface,可以在此网站https://pypi.python.org/pypi/zope.interface#download下载安装即可,至于版本,我选择的是最高版本。(见安装包中zope.interface-4.1.2.win32-py2.7.exe)
这里写图片描述

验证安装成功:在cmd中按一下命令输入import zope.interface没有弹出错误即表示安装成功。
这里写图片描述

4、安装pyOpenSSL,在此网站https://pypi.python.org/pypi/pyOpenSSL下载与你的Python版本对应的版本安装(Python2.7的见安装包中pyOpenSSL-0.13.winxp32-py2.7.exe)

验证安装:按如图所示的命令输入,无错误则安装成功
这里写图片描述

5、安装twisted,在此网站http://twistedmatrix.com/trac/wiki/Downloads下载对应的版本安装。(Python2.7的见安装包中Twisted-15.2.1.win32-py2.7.exe)

6、安装lxml,在此网站https://pypi.python.org/pypi/lxml/下载安装。我选择的是最高版本3.4.4*(见安装包中lxml-3.4.4.win32-py2.7.exe)*
这里写图片描述

7、安装easytool,在此网站http://pypi.python.org/packages/2.7/s/setuptools/setuptools-0.6c11.win32-py2.7.exe下载对应的版本安装(Python2.7的见安装包中setuptools-0.6c11.win32-py2.7.exe),安装好之后需要将其设置到系统环境变量中去,如下:
这里写图片描述

8、最后一步安装Scrapy,在此网站https://pypi.python.org/pypi/Scrapy下载对应版本安装。(在这一步,下载到的是一个Scrapy-1.0.0rc1-py2-none-any.whl文件,是一个whl的文件,我当时并不知该如何处理这个文件,于是我没有使用这个下载的文件,而是直接在cmd中输入命令自动下载安装的,命令是:pip install scrapy),如图:
这里写图片描述
这里写图片描述

验证安装是在cmd中输入scrapy,出现如下所示,即表明安装成功了。
这里写图片描述


其实,按理说,只要安装了easytool,我们都可以用命令去安装所有的插件,而不用再一个个下载,安装了。


一切完成之后,就可以按照此博客http://blog.csdn.net/pleasecallmewhy/article/details/19642329模仿者写第一个简单的爬虫程序了。
这里写图片描述


这个是我在Windows下安装Scrapy的流程。后面我会再写在Linux下的安装流程(我感觉Linux下将比在Windows更加快捷方便。(^__^) )

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值