luck_lin

原创 nodejs+puppeteer+chromium爬取异步数据页面（英雄联盟英雄资料列表页+详情页）

puppeteer介绍 对于静态页面的爬取是灰常简单的，一个request+cherrico即可，今天我动手对英雄联盟官网英雄资料爬取时发现英雄列表和详情页是通过js异步渲染的数据，所以就用上了这个神器puppeteer Puppeteer能够模拟一个浏览器的运行环境，能够请求网站信息，并运行网站内部的逻辑。然后再通过WS协议动态的获取页面内部的数据，并能够进行任何模拟的操作(点击、滑动、ho...