爬取淘宝iPad前100页商品

需求：爬取淘宝iPad前100页商品

分析：分析网页是动态渲染的无法用普通的方法爬取

方法：

1、查看网页源码发现g_page_config这个包含了商品信息，用正则可以爬取，具体方法省略

2、可见即可爬：selenium+chrome(PhantomJS)

 

转载于:https://www.cnblogs.com/jp-mao/p/10046723.html