Python Scrapy简单爬虫-爬取澳洲药店，代购党的福音

身在澳洲，近期和ld决定开始做代购，一拍即合之后开始准备工作。众所周知，澳洲值得买的也就那么点东西，奶粉、UGG、各种保健品，其中奶粉价格基本万年不变，但是UGG和保健品的价格变化可能会比较大。所以，打算写个爬虫解决一下经常需要手动查询价格的不便。以前用python写过一些爬虫，urllib123、requests略微有点了解，不过前段时间碰巧也留意到了几个框架，所以这次尝试了一下Scrapy，感觉还好。本次也只是使用Scrapy的其中一小部分特性，但比起正则，还是方便了很多，同时，还有很多用法还没有发掘，以后再说。课业繁重，代码很丑，只是可用。

环境

Mac OS 10.12.6 + Python 2.7.9

1. 安装Scrapy

很简单，一行代码

 sudo pip install scrapy

或许，你也会看到这样的错误，同时也有可能会有其他类型的错误，具体原因具体分析

    OSError: [Errno 1] Operation not permitted: '/tmp/pip-TnNzkf-uninstall/System/Library/Frameworks/Python.framework/Versions/2.7/Extras/lib/python/six-1.4.1-py2.7.egg-info'

解决办法

sudo pip install scrapy —-upgrade —ignore-installed six

2. 创建一个Scrapy项目

在Terminal中，进入想要创建项目的目录

scrapy startproject XXXXXXX

XXXXXX为项目名

Appendix

源代码

https://github.com/s65b40/aus_spider

Ref

1. Scrapy官方文档，写的还是很不错的，还有中文