在安装Scrapy之前,我已装好了python2.7,pip和esay_install
一、安装Scrapy:首先在cmd转到放置pip.exe的目录,我的目录在C:\Python27\Scripts下面,然后在cmd输入指令: C:\Python27\Scripts> pip install scrapy即可
等待安装各种必要文件,安装成功后,显示
二、然后创建Scrapy项目,进入您打算存储代码的目录中,在cmd运行下列命令: scrapy startproject project_name 。 project_name是创建的项目名,由用户自定义。
例如,引用 http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/tutorial.html#id3
然后在Pycharm中直接打开该Scrapy项目编辑,在写好代码以后,建一个main.py文件(文件名自定义),放在以下目录:
(引用:http://stackoverflow.com/questions/21788939/how-to-use-pycharm-to-debug-scrapy-projects 的Rodrigo的回答)
即main.py和scrapy.cfg位于同一层目录下,然后在main.py输入一下代码:
from scrapy import cmdline cmdline.execute("scrapy crawl spider".split())
其中scrapy crawl spider中的spider是你写的spider的名字,例如你写了一个spider叫tutorial,则 scrapy crawl tutorial
最后运行main.py开始爬虫。
三、第一次运行的时候,我遇到no module named win32API错误,这是因为Python没有自带访问windows系统API的库的,需要下载第三方库。库的名称叫pywin32,可以从网上直接下载,下载链接:http://sourceforge.net/projects/pywin32/files%2Fpywin32/ (下载适合你的Python版本)
我选择了build 219里面的pywin32-219.win32-py2.7.exe成功的话,报然后在cmd转到easy_install.exe的目录,我的目录在C:\Python27\Scripts,运行
问题解决。
第三部分引用:http://zhidao.baidu.com/link?url=gQbNE8y0msmKNV1W0twTQmhLFAma2GAoRLk74savs2v_AO8zA1SBTNEEFNjNRqz9GzRZX6ZqJpuviQ6yl-byReBBUNqe5NrEDeoYtLLrBoO 和 http://stackoverflow.com/questions/26689371/scrapy-no-module-named-win32api-windows 中Rajesh Chamarthi 的回答。