Puppeteer(小说爬取???)
今天上班有点空,就学了一下爬虫,刚好想起昨天看的电视剧,就把他的小说爬下来了
选型
- 前端没门槛
- 基于
DevTools
,同时拥有node
和chrome
的能力
实现
先做了一个截屏的版本,感觉图片不太方便(
kindle
看起来费劲),就在在做了个简易的txt
版本
- 基于
puppeteer-examples
,快速上手
git clone https://github.com/checkly/puppeteer-examples
cd puppeteer-examples
npm i
node demo/novel
- 简单实现
const puppeteer = require('puppeteer')
const fs = require('fs')
try {
(async () => {
const browser = await puppeteer.launch()
const page = await browser.newPage()
await page.tracing.start