在遇到JavaScript渲染的网页时，常规爬虫无法获取数据。本文介绍了三种解决方法，重点讲解如何使用PyV8库进行JavaScript执行，以获取所需数据。首先安装Boost和PyV8依赖，如果安装失败则手动下载并放置到指定位置，接着通过Python代码测试PyV8是否安装成功。最后，提醒大多数网站的反爬策略并非如此严格。
最近爬取某网站，发现整个网页都是JavaScript渲染生成的！！！而且我需要的数据不是通过ajax或jsonp来获取的，也就没有清晰易读的json文件给我们，此时使用正常的爬取手段已经不能实现数据的爬取了
这里我想到3个办法来完成爬取，
第一种是使用selenium模拟登陆（必须在登陆以后才能查看数据），同时需要使用代理池和很多账号，速度不快，但是能慢慢跑。
第二种是分析6万行js代码！！！找到它是怎么获取数据的！！！然后在爬取。。。。。这种方法直接pass
第三种是使用pyv8这个库来进行JavaScript代码运行，然后获取需要的数据，下面介绍pyv8的安装
最低0.47元/天 解锁文章
扫一扫
388
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
