先安装Anaconda3详细信息见链接: http://blog.csdn.net/ljp812184246/article/details/52593024
Anaconda下载地址: https://www.continuum.io/downloads
在Anaconda3环境下安装scrapy:
1.安装Scrapy
首先打开Anaconda Prompt,输入
conda list 该命令可以查看Anaconda所带的库
Conda,这是一个包管理器,当然也可以创建虚拟环境(总而言之,Conda==高级的pipinstall + easy_install + virtualenv)
发现并没有自带Scrapy,所以自己动手装。(这里指定Scrapy的版本是1.1)
conda install scrapy=1.1
2.创建一个新的Scrapy项目
项目的名字为Scrapy1
scrapy startproject scrapy1
注意:可以先在cmd命令行窗口中,进去到你想要创建目录的位置,再执行上面的命令。
创建完成后即可在相应的目录中看到scrapy1的项目文件。
3.导入pycharm中进行开发
然后打开pycharm打开相应的项目文件进行编辑开发即可。
开发完成后需要执行项目进行抓取操作,执行的命令为: scrapy crawl jingdong -o jingdong.json
上面命令中,jingdong为项目文件中的spiders目录下的 jingdong_spyder.py中的JingDongSpider(Spider): 方法配置的name的值。 -o jingdong.json 指定输出的文件的格式。
参考链接:
http://www.jianshu.com/p/f11c1ff27e23
http://blog.sina.com.cn/s/blog_c685f68e0102wkfx.html