最近用Python写了一点抓取网页的程序,突然想起来Python语言中的一个抓取框架Scrapy,于是便使用并记录了下。。。
关于Scrapy的安装:
1.下载Python,我使用的是Python2.7版本(下载地址:https://www.python.org/downloads/)
并配置bin目录和Scripts目录到环境变量中,我使用的是Windows,PYTHON_HOME=D:\Python27 PATH=......;%PYTHON_HOME%\bin;%PYTHON_HOME%\Scripts;
2.为了方便的下载安装第三方库,如pip, easy_install,可以下载安装setuptools(下载地址: