puppeteer爬虫扒取数据后存入数据库

puppeteer爬虫扒取数据后存入数据库

由于最近的工作内容接触到了爬虫与测试

所以这里就记录了一个小小的例子

爬虫puppeteer + Koa2 + Mysql

是从之前koa2项目上增强了爬虫的功能

爬虫是以网易公开课的例子为例

之前koa博客地址：https://blog.csdn.net/frank_come/article/details/80805032

koa项目地址：https://github.com/WeForStudy/Lottery-node

红圈部分是要扒取的数据

首先我们来看一下项目目录

我们是在之前koa项目的基础上添加了爬虫的功能

新添的文件

• reptile.js

我们来看一下

const ReptileService = require('./services/reptile')
const app = require('./index')
const puppeteer = require('puppeteer');
(async() => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  const url = "https://open.163.com/"
  await page.goto(url);
  const courses = await page.evaluate(() => {
    const coursesList