puppeteer爬虫扒取数据后存入数据库

最新推荐文章于 2024-10-28 13:29:29 发布

无来往

最新推荐文章于 2024-10-28 13:29:29 发布

阅读量2.5k

点赞数 1

分类专栏：前端文章标签：爬虫 puppeteer koa mysql

本文链接：https://blog.csdn.net/frank_come/article/details/81538566

版权

本文介绍了如何结合Puppeteer爬虫、Koa2和MySQL来实现数据抓取并存储到数据库的过程。通过分析网页结构，定位到目标数据，并利用evaluate方法获取数据。之后调用Services层，将数据存入数据库，实现爬虫与数据库的联动。文章提供了一个简单的Koa2项目，包含爬虫和数据库操作的示例代码。

摘要由CSDN通过智能技术生成

puppeteer爬虫扒取数据后存入数据库

由于最近的工作内容接触到了爬虫与测试

所以这里就记录了一个小小的例子

爬虫puppeteer + Koa2 + Mysql

是从之前koa2项目上增强了爬虫的功能

爬虫是以网易公开课的例子为例

之前koa博客地址：https://blog.csdn.net/frank_come/article/details/80805032

koa项目地址：https://github.com/WeForStudy/Lottery-node

红圈部分是要扒取的数据

首先我们来看一下项目目录

我们是在之前koa项目的基础上添加了爬虫的功能

新添的文件

reptile.js

我们来看一下

const ReptileService = require('./services/reptile')
const app = require('./index')
const puppeteer = require('puppeteer');
(async() => {
  const browser = await puppeteer.launch();
  const page = await browser.newPage();
  const url = "https://open.163.com/"
  await page.goto(url);
  const courses = await page.evaluate(() => {
    const coursesList