Nodejs实现简单爬虫，将爬到的数据以json数据格式保存到MySQL数据库中

最新推荐文章于 2024-08-10 07:34:02 发布

qwyu

最新推荐文章于 2024-08-10 07:34:02 发布

阅读量4.7k

点赞数 1

文章标签： mysql nodejs

本文链接：https://blog.csdn.net/u010255310/article/details/52238074

版权

本文介绍了如何使用Nodejs结合superagent和cheerio库抓取网页数据，然后将数据以JSON格式存储到MySQL数据库中。详细步骤包括创建项目、安装依赖、实现抓取逻辑，并展示了抓取数据的格式、数据库表结构及存储效果。

摘要由CSDN通过智能技术生成

Nodejs实现简单爬虫，将爬到的数据以json数据格式保存到MySQL数据库中

目标：
在浏览器中访问http://localhost:3000/时，输出(http://www.pm25.in/chengdu)的所有检测点的信息，以json的格式，查询自己的数据库中的表，其内容也是所有检测点的信息。
知识点：
1、使用superagent抓取网页
superagent是个http方面的库，可以发起get或者post请求
2、使用cheerio 分析网页
大家可以理解成一个node.js版的jQuery，用来从网页中以
css selector 取数据，使用方式跟jQuery是一模一样的。
3、使用MySQL保存数据
详细步骤：
1、建立项目工程文件夹reptile
文件样式
2、安装依赖，主要安装superagent , cheerio， mysql
如下：
npm install –save superagent
npm install – save cheerio
npm install –save mysql
安装成功之后，会自动生成node_module文件夹，里面包含这三个文件。
3、在reptile文件下新建一个app.js，里面的主要逻辑是这样的࿰