Selenium+PhantomJS爬取淘宝

预备知识：

1. Selenium：web的自动化测试工具，直接运行在浏览器中，模拟用户操作。
2. PhantomJS：基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持。提供了诸如CSS选择器、支持Web标准、DOM操作、JSON、html5等，同时也提供了处理文件I/O的操作，可以向操作系统读写文件。
3. PyQuery：使用 jQuery 的风格来遍历 XML 文档，它使用了 lxml 来处理 XML ， HTML 文档。

---

流程框架

1：搜索关键词：
利用Selenium驱动浏览器搜索关键词，得到查询后的商品列表
2：分析页码并翻页
得到商品页码数，模拟翻页，得到后续页面的商品列表
3：分析提取商品内容
利用PyQuery分析源码，解析得到商品列表
3：存储至MongoDB
将商品列表信息存储到数据库MongoDB

---

源码网址：

https://github.com/braid123/ScrapyProject