puppeteer爬虫扒取数据后存入数据库
由于最近的工作内容接触到了爬虫与测试
所以这里就记录了一个小小的例子
爬虫puppeteer + Koa2 + Mysql
是从之前koa2项目上增强了爬虫的功能
爬虫是以网易公开课的例子为例
之前koa博客地址:https://blog.csdn.net/frank_come/article/details/80805032
koa项目地址:https://github.com/WeForStudy/Lottery-node
红圈部分是要扒取的数据
首先我们来看一下项目目录
我们是在之前koa项目的基础上添加了爬虫的功能
新添的文件
-
reptile.js
我们来看一下
const ReptileService = require('./services/reptile')
const app = require('./index')
const puppeteer = require('puppeteer');
(async() => {
const browser = await puppeteer.launch();
const page = await browser.newPage();
const url