R4dw1mp's Python

原创 淘宝商品页爬取

之前的脚本很基础，都是针对于静态网页的爬取。本文将以淘宝为例，运用selenium+chrome(headless)模拟浏览器，解决JS渲染问题，爬取商品信息并存储至MongoDB库中。（最新版selenium中已无法使用phatomjs，所以使用chrome的无头模式替代之。）IDE推荐使用Pycharm，安装教程Pycharm；安装MongoDB，安装教程MongDB 。安装ROBOMongo...