PyCharm和Scrapy写爬虫 （Windows环境配置）

大家学习Python的过程中，总会想要一个好用的IDE来帮助提升开发的效率。Python自带的IDLE不太适合，命令行模式对于工程结构不太友好，常用的IDE，如Eclipse（需要PyDev插件），还行。微软的VisualStudio自带Python以及各种框架，配置一下interpreter也可以，Sublime，Atom，Notepad++....反正有很多，你喜欢就可以选哪个。这里主要推荐的是JetBrains出品的PyCharm,它家还有著名的Java开发IDE intelliJ IDEA，，说一下简单的用PyCharm写爬虫（简单的一个例子）

---

• Prerequisites：1）安装好PyCharm 2) 下载scrapy

• PyCharm安装：go to https://www.jetbrains.com/pycharm/?fromMenu, 下载社区版或是专业版（收费的，可以30天试用，推荐）。下载完后，直接打开安装（Python已经提前安装好了，安装时需要Python,类似于安装Eclipse时需要JDK一样）

• 下载Scrapy：用pip安装scrapy。为了不影响安装的Python，可以创建一个Python的虚拟环境，然后再下载scrapy

• 创建虚拟Python环境：用pip先安装virtualenv这个工具：pip install virtualenv，然后用virtualenv创建一个虚拟环境（如果安装了不同版本的Python，可以指定要用哪个版本的Python的去创建虚拟环境）如下：
  

创建一个scrapy的项目：先激活虚拟环境（进入到\venv\Scripts目录下，执行activate），如下（这里venv是创建的虚拟环境）

这个时候，虚拟环境被激活，然后用scrapy命令创建一个爬虫工程：scrapy startproject learn_scrapy
创建完成之后可以看到这样的目录结构，如下(用PyCharm打开)：

（note:这里begin.py不是初始文件，是后面创建的，这个例子来自：http://docs.pythontab.com/scrapy/scrapy0.24/intro/tutorial.html）

完成上述的操作之后，就是写一个示例来运行一下，可以参考http://docs.pythontab.com/scrapy/scrapy0.24/intro/tutorial.html 这个例子，写一个begin.py在scrapy.cfg的同级目录，再在spider包下面创建一个spider.py的文件。

完成示例代码之后，接着就是运行，这时候需要配置一下运行的环境，选择Run - Edit Configurations...，新建一个python,如下

Python interpreter要选择之前创建的虚拟环境下的

这样就可以开始执行了

转载于:https://blog.51cto.com/waytogo/2092238