摩西的博客 爱it 爱生活 爱折腾

默认情况下，在windows下安装python之后，系统并不会自动添加相应的环境变量。此时不能在命令行直接使用python命令。 1. 首先需要在系统中注册python环境变量：假设python的安装路径为c:\python2.6，则修改我的电脑->属性->高级->环境变量->系统变量中的PATH为: (为了在命令行模式下运行Python命令，需要将python.exe所在的目录附加到PATH

1、python     http://python.org/ftp/python/2.7.2/python-2.7.2.msi 双击安装并加到环境变量当中,参见http://blog.csdn.net/sl0007/article/details/8501331 2、 Twisted      http://twistedmatrix.com/Releases/Twisted

最近在学Python，同时也在学如何使用python抓取数据，于是就被我发现了这个非常受欢迎的Python抓取框架Scrapy，下面一起学习下Scrapy的架构，便于更好的使用这个工具。 一、概述 下图显示了Scrapy的大体架构，其中包含了它的主要组件及系统的数据处理流程（绿色箭头所示）。下面就来一个个解释每个组件的作用及数据的处理过程。 二、组件 1、Scrapy Engine（S