Python爬虫实践

scrapy

步骤

1. 编写item（item可以理解为java bean）
2. 使用scrapy shell ‘url’来在命令行中使用response.xpath()来检查想要的数据
3. 编写spider，通过上述得到的xpath表达式来填充
4. 编写pine，进行存取数据库的操作
5. 到源文件目录下通过scrapy crawl huxiu (-o 保存文件)来运行程序

知识点
yield

参考
http://brucedone.com/archives/58
http://kevinflynn.iteye.com/blog/2230990
https://segmentfault.com/q/1010000007903519

模拟请求

requests和urllib2

html解析

• beautiful soup
  • 前者使用的是正则表达式来实现的，可以看它源码实现
  • https://beautifulsoup.readthedocs.io/zh_CN/v4.4.0/#
• lxml
  • 使用的是xml节点的查找，速度而言，lxml是优于beautifulsoup，而且更加通用。

spynner

动态页面请使用 spynner，内置 webkit 引擎

爬取微博数据

response.xpath(’//div[@class=“c”]’).extract()
https://weibo.cn/chengdujiaojing