人工智能 – python3 爬虫:如何爬取js动态加载的网页数据? ---- 下载PhantomJS软件、安装slenium包
背景
有时候python爬虫,抓取网页数据不全,是因为没抓到那部分是js动态加载的。
- PhantomJS 是一个基于Webkit的“无界面”(headless)浏览器,它会把网站加载到内存并执行页面上的 JavaScript,因为不会展示图形界面,所以运行起来比完整的浏览器要高效。下载好了放在一个目录里。
- 而要想在python3调用这个软件,要有API接口啊,即下载一个包selenium。
1. 下载PhantomJS
官网(速度慢):https://phantomjs.org/download.html
淘宝镜像(推荐):https://cdn.npm.taobao.org/dist/phantomjs/phantomjs-2.1.1-windows.zip
解压后看出来这是一个二进制可直接执行软件,故放到C:\Python\
目录下,点C:\Python\phantomjs-2.1.1-windows\bin\phantomjs.exe
即安装成功。
测试:
双击phantomjs.exe打开phantomjs命令行窗口后,输入1+2
,结果3
,说明phantomjs正常。如下:
2. 安装selenium包
pip install selenium -i https://mirrors.aliyun.com/pypi/simple