Python+Eclipse+scrapy

  最近入门爬虫，然后发现网上的关于python+eclipse+scrapy环境搭建的文章相对较少，首先我们先安装python环境，访问https://www.python.org/downloads/windows/，我的是windows的，选择相对应的版本类似 python-XYZ.msi，然后一直下载好后像其他软件一样打开，选择安装路径等等，然后就是设置环境变量（让系统知道python环境的路径并执行python文件，可以更为方便地运行python文件），右击此电脑然后选择高级系统设置--环境变量--编辑Path,在后追加------;你的安装路径(分号作为分隔符)

然后就是eclipse安装，需要先安装jdk——http://www.oracle.com/technetwork/java/javase/downloads/index.html,安装好jdk环境后，然后到这个网站——http://www.eclipse.org/downloads/下载ecplise，安装好eclipse（需要jdk才能运行）后，打开eclipse界面，在help---install  new sortware,点add按钮，name填写Pydev,Location填写http://pydev.org/updates一步步下去，安装好pydev后，就配置python解释器，

在Eclipse菜单栏中，点击Windows ->Preferences.   

在对话框中，点击pyDev->Interpreter - Python.  点击New按钮， 选择python.exe的路径, 打开后显示出一个包含很多复选框的窗口. 点OK

配置好后，我们就要开始下载scrapy,scrapy可以用pip下载，在cmd进入python路径的Scripts文件夹然后运行 

pip install Scrapy，然后继续在cmd的某个路径新建scrapy项目：scrapy startproject xxx,xxx为项目名称，在命令行进入那个项目的文件夹，输入

scrapy genspider [-t template] <name> <domain> 来建好一个爬虫模板（name是爬虫名字，domain是放行的域名），可以在spiders里面看到

然后就把创建好的项目复制到，eclipse里面的一个新建的pydev项目，类似这样的其中那个cmdline是模仿在命令行的操作，是用来启动爬虫的，这时候运行方式要配置一下，而里面的内容是

import scrapy.cmdline


if __name__ == "__main__":
    

   scrapy.cmdline.execute(argv=['scrapy','crawl','csdn'])  

作为程序入口，xxx是你的爬虫程序名字，运行方式的配置是 Run-Run Configurations-右击pythonrun，new一个运行配置，Main下面的

选择项目名和你运行的爬虫的相应cmdline文件路径，然后Argument那里

选择other和scrapy的那个项目路径apply之后就可以了，其中可能会遇到一些坑，参考https://blog.csdn.net/keven_apprentice/article/details/77629977,还有一个挺好的爬虫文章http://www.aobosir.com/blog/2016/12/26/python3-large-web-crawler-taobao-com-import-to-MySQL-database/，希望我们都学到自己想学的