记录百度图片抓取过程

最近碰到个需求,需要抓取百度图片,要求得到缩略图的URL和原图的URL

1.首先用urllib2连图片毛都没抓到,,分析了一下百度图片的结构,发现图片的JSON数据是通过ajax加载的.urllib2泪流满面

2.前段时间用过htmlunit,这玩意是用JAVA做的,先使用htmlunit解析动态加载的网页,再用thrift进行python和java的连接,可以得到加载后的JSON,这个可以入选了

3.最近又找到了PhantomJS,此物是一个无界面的webkit引擎,使用JSAPI的,试用了一下,感觉比htmlunit更好用,主页是:http://phantomjs.org/index.html,使用PhantomJS可以得到执行过JS的网页,并且可以直接得到window的JS变量,返回JSON数据,python可以使用subprocess来进行系统命令行的调用,并返回命令行的结果,这个也可以入选了,另PhantomJS还可以做为一个webserver,尝试了一下,发现把大部分逻辑放到js写着太别扭,中止尝试

4.在上面两种方案中发现想得到更多图片时模拟翻页实现太麻烦,尝试着从AJAX上入手,在chrome上使用chrome://net-internals/对百度图片进行了抓包,直接抓到了JSON数据的ajax,所以2,3被放弃了,世界也清静了