安装Scrapy
关于Scrapy框架简单介绍,可以参看菜鸟教程:Scrapy 入门教程。
在Mac OS中安装Scrapy并不是直接安装,而是先安装virtualenv,virtualenv可以创建一个隔绝独立的python开发环境,让不同项目分别运行在自己需要的开发环境中,解决不同项目间多版本的冲突问题。 安装完virtualenv后再继续安装Scrapy。
pip install virtualenv //安装virtualenv
virtualenv scrapyenv //scrapy安装地址
cd scrapyenv
source bin/activate //进入环境
pip install Scrapy //安装Scrapy
国内下载比较缓慢,而且下载的包有点多,花费的时间较长。
安装完scrapy后,输入命令scrapy,如果显示下面信息,就代表安装成功了。
(scrapyenv) wangjiangdeMacBook-Pro:scrapyenv wangjiang$ scrapy
Scrapy 1.5.1 - no active project
Usage:
scrapy <command> [options] [args]
Available commands:
bench Run quick benchmark test
fetch Fetch a URL using the Scrapy downloader
genspider Generate new spider using pre-defined templates
runspider Run a self-contained spider (without creating a project)
settings Get settings values
shell Interactive scraping console
startproject Create new project
version Print Scrapy version
view Open URL in browser, as seen by Scrapy
[ more ] More commands available when run from project directory
Use "scrapy <command> -h" to see more info about a command
(scrapyenv) wangjiangdeMacBook-Pro:scrapyenv wangjiang$
创建Scrapy项目并导入到PyCharm
先进入到scrapy环境下:
cd scrapyenv
source bin/activate
创建爬虫项目mySpider:
scrapy startproject mySpider
关于scrapy更多命令操作,可以查看文档:scrapy命令行工具。
创建完成后,会在scrapyenv中生成一个mySpider项目,然后在PyCharm的菜单File中选择open导入项目。
导入项目后,并不能运行项目,因为PyCharm当前处在电脑所配置的python开发环境中。接下来,切换到scrapy开发环境。
打开Preferences → Project Interpreter → show all 窗口:
选择前面下载的scrapy环境 ~scrapyenv/bin/python ,选择完成后可以先重新启动下PyCharm,然后在Pycharm中的terminal中检查下当前是否在scrapy环境中,输入scrapy命令:
如果能显示上面内容,那么就可以在PyCharm中运行scrapy项目了。
在PyCharm环境中乱码
1.在PyCharm的Preference中设置编码格式为utf-8
2.如果上面不能解决乱码问题,那么在python文件中重新设置编码格式utf-8:
# 以下三行是在 Python2.x版本中解决乱码问题,Python3.x 版本的可以去掉
import sys
reload(sys)
sys.setdefaultencoding("utf-8")
3.如果上面还不能解决乱码问题,或者在terminal终端中也乱码,比如输出的是unicode编码:
["\u3010\u6e90\u7801\u3011Scrapy\u91c7\u82b1\u5927\u76d7\u5c0f\u722c\u866b\u5b9e\u6218\u4e4b\uff1a\u52fe\u9b42\u3001\u9165\u80f8\u3001\u60f9\u706b\u3001\u5c24\u7269\u2026\u2026"]
可以使用在代码中进行转码来解决:
.decode('unicode_escape')
上面unicode转码后:
["scrapy 图片下载(二):scrapy图片重命名、放入不同文件夹"]
Scrapy框架学习文档
1.菜鸟教程:Scrapy 入门教程
2.scrapy中文网站:不仅有scrapy中文文档,还有一些实战项目入门。一个非常好的学习网站!