Nodejs实现简单爬虫,将爬到的数据以json数据格式保存到MySQL数据库中

本文介绍了如何使用Nodejs结合superagent和cheerio库抓取网页数据,然后将数据以JSON格式存储到MySQL数据库中。详细步骤包括创建项目、安装依赖、实现抓取逻辑,并展示了抓取数据的格式、数据库表结构及存储效果。
摘要由CSDN通过智能技术生成

Nodejs实现简单爬虫,将爬到的数据以json数据格式保存到MySQL数据库中

目标:
在浏览器中访问http://localhost:3000/时,输出(http://www.pm25.in/chengdu)的所有检测点的信息,以json的格式,查询自己的数据库中的表,其内容也是所有检测点的信息。
知识点:
1、使用superagent抓取网页
superagent是个http方面的库,可以发起get或者post请求
2、使用cheerio 分析网页
大家可以理解成一个node.js版的jQuery,用来从网页中以
css selector 取数据,使用方式跟jQuery是一模一样的。
3、使用MySQL保存数据
详细步骤:
1、建立项目工程文件夹reptile
文件样式
2、安装依赖 ,主要安装superagent , cheerio, mysql
如下:
npm install –save superagent
npm install – save cheerio
npm install –save mysql
安装成功之后,会自动生成node_module文件夹,里面包含这三个文件。
3、在reptile文件下新建一个app.js,里面的主要逻辑是这样的࿰

  • 1
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值