Node.js获取疫情数据并写入数据库mysql中

已于 2022-11-05 17:57:45 修改
阅读量1.5k 收藏 13
点赞数 2
文章标签： mysql node.js javascript
于 2021-09-28 14:25:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41003479/article/details/120528232
版权

一、准备环境

安装好Node.js
新建一个文件夹
新建一个js文件 spider

二、代码时间

1.首先引入相关模块

// 目标是获取某网站的疫情数据
const superagent = require('superagent')
const cheerio = require('cheerio')
const mysql =require('mysql')
const path = require('path')
var schedule = require('node-schedule');
//schedule模块用来执行定时任务 
const request=require('request');

2.创建数据库连接


var connection ;

//创建数据库连接
//创建一个函数handleError，负责防止mysql断连

function handleError () {
  connection = mysql.createConnection({
    host:'localhost',
    port:端口号,//安装数据库默认端口号为3306
    user:"Mysql用户名",
    password:"Mysql密码",
    database:"你的数据库名称"
  });
 
  //连接错误，2秒重试
  connection.connect(function (err) {
      if (err) {
          console.log('error when connecting to db:', err);
          setTimeout(handleError , 2000);
      }
  });

  connection.on('error', function (err) {
      console.log('db error', err);
      // 如果是连接断开，自动重新连接
      if (err.code === 'PROTOCOL_CONNECTION_LOST') {
          handleError();
      } else {
          throw err;
      }
  });
}
handleError();//执行函数

3.获取当前时间

//获取当天的时间
var getToday=function(){
var time=new Date();
var year=time.getFullYear();
var day=time.getDate();
if(day<10){
  day='0'+day;
}
var month=time.getMonth()+1;
if(month<10){
  month='0'+month;
}
var date=year+'-'+month+'-'+day;
return date
}

4.第一个执行函数

1.这个定时任务是负责获取数据，存入数据库中
2.先用superagent请求页面获得html
3.然后用cheerio解析html，可以通过jQuery的方法操作dom，获得里面的数据
4.获得数据之后，就写入数据库的alldata2数据表


var spider=function(){
  // 1. 请求目标网站
const url = `https://ncov.dxy.cn/ncovh5/view/pneumonia`
superagent
  .get(url)
  .then(res => {
    // console.log(res.text) // 相应的内容
    // 浏览器可以解析html 但是node端不行
    // 2. 去解析html字符串从里面提取对应疫情数据
    const $ = cheerio.load(res.text) // 然后后我们就可以通过jQuery的方法操作dom
    // 获取全国疫情信息数据

    var $getAreaStat = $('#getAreaStat').html()

    // console.log($getListByCountryTypeService1)
    // 使用字符切割 正则匹配 eval函数
    var dataObj = {}

    eval($getAreaStat.replace(/window/g, 'dataObj'))

    //console.log(dataObj)
    // 3. fs写入数据到本地
        var date=getToday();

        var getAreaStat=dataObj.getAreaStat;
        var arr=[]
        getAreaStat.forEach(item => {   
            var provinceCode=item.locationId;
            var result=item.cities;
            //console.log(result);
            if(result.length==0){
              var addSql = 'INSERT INTO alldata2(id,date,province,provinceCode,city,cityCode,confirmed,suspected,cured,dead) VALUES(0,?,?,?,?,?,?,?,?,?)';
              var cityCode=provinceCode;
              var province=item.provinceName;
              var city=province;
              var confirmed=item.confirmedCount;
              var suspected=item.suspectedCount;
              var cured=item.curedCount;
              var dead=item.deadCount;
              var addSqlParams = [date,province,provinceCode,city,cityCode,confirmed,suspected,cured,dead];
              //alldata
              connection.query(addSql, addSqlParams, function (err, result) {
                  if (err) {
                      console.log('[INSERT ERROR-] - ', err.message);
                      return;
                  }
              }); 
            }else{
              result.forEach(res=>{
              var addSql = 'INSERT INTO alldata2(id,date,province,provinceCode,city,cityCode,confirmed,suspected,cured,dead) VALUES(0,?,?,?,?,?,?,?,?,?)';
              var cityCode=res.locationId
              var province=item.provinceName;
              var city=res.cityName;
              var confirmed=res.confirmedCount;
              var suspected=res.suspectedCount;
              var cured=res.curedCount;
              var dead=res.deadCount;
              var addSqlParams = [date,province,provinceCode,city,cityCode,confirmed,suspected,cured,dead];
              //alldata
              connection.query(addSql, addSqlParams, function (err, result) {
                  if (err) {
                      console.log('[INSERT ERROR-] - ', err.message);
                      return;
                  }
              });   
            })
          }
            
        })
      console.log('写入数据成功！')


  })
  .catch(err => {
    throw err
  })
}

5.第二个执行函数

1.读取之前写入alldata2数据表的数据
2.请求高德地图的api获取地理坐标
3.写入location2数据表


var spider2=function(){
 var date=getToday();
  var strings="SELECT * FROM `alldata2` WHERE date='"+date+"'"
  connection.query(strings,  function (err, result) {
  if (err) {
      console.log('[INSERT ERROR-] - ', err.message);
      return;
  }else{
      //console.log(result);
      const sleep = function (ms){
          return new Promise(resolve => setTimeout(resolve, ms))
        }
        const requestData = async function(){
          for(var i=0;i<result.length;i++){
              var city=result[i].city;
              var province=result[i].province;
              var provinceCode=result[i].provinceCode;
              var cityCode=result[i].cityCode;
              var confirmed=result[i].confirmed;
              var url='https://restapi.amap.com/v3/geocode/geo?address='+province+city+'&output=JSON&key=你申请的地址匹配的key'
              //console.log(url);
              request(encodeURI(url),function (error, response, body) {
                  var data =JSON.parse(body)
                  var location=data.geocodes[0].location;
                  //console.log(location)
                  var lng=location.split(',')[0];
                  lng=parseFloat(lng)
                  var lat=location.split(',')[1];
                  lat=parseFloat(lat)
                  var addSql2 = 'INSERT INTO location2(id,date,province,provinceCode,city,cityCode,confirmed,lng,lat) VALUES(0,?,?,?,?,?,?,?,?)';
                  var addSqlParams2 = [date,province,provinceCode,city,cityCode,confirmed,lng,lat];
                  connection.query(addSql2, addSqlParams2, function (err, result) {
                      if (err) {
                          console.log('[INSERT ERROR-] - ', err.message);
                          return;
                      }
                  }); 
              })
              await sleep(200);//每一个循环休息0.2s}
              
          }
        }
        requestData();
  }
  }); 

}

6.为两个执行函数创建定时任务


var runSchedule =function (cb) {
    // cron风格的配置：每天上午2点05分执行一次第一个函数
    schedule.scheduleJob('0 5 2 * * *', function () {
        var time=new Date();
        var year=time.getFullYear();
        var day=time.getDate();
        var month=time.getMonth()+1;
        console.log('spider定时任务执行一次'+year+'年'+month+'月'+day+'日');
            cb && cb();
    });
}

//可以按照cron的格式设置
var runSchedule2 =function (cb) {
    // cron风格的配置：每天上午2点10分执行一次第二个函数
    schedule.scheduleJob('0 10 2 * * *', function () {
      var time=new Date();
        var year=time.getFullYear();
        var day=time.getDate();
        var month=time.getMonth()+1;
        console.log('spider2定时任务执行一次'+year+'年'+month+'月'+day+'日');
          cb && cb();
    });
}
 runSchedule(spider);
 runSchedule2(spider2);

 console.log('定时任务已启动');

7.全部代码

// // 目标是获取网站的疫情数据
const superagent = require('superagent')
const cheerio = require('cheerio')
const mysql =require('mysql')
const path = require('path')
var schedule = require('node-schedule');
//schedule模块用来执行定时任务 
const request=require('request');
// superagent.get(url).then()
var connection ;

//创建数据库连接
function handleError () {
  connection = mysql.createConnection({
    host:'localhost',
    port:端口号,//安装数据库默认端口号为3306
    user:"Mysql用户名",
    password:"Mysql密码",
    database:"你的数据库名称"
  });
 
  //连接错误，2秒重试
  connection.connect(function (err) {
      if (err) {
          console.log('error when connecting to db:', err);
          setTimeout(handleError , 2000);
      }
  });

  connection.on('error', function (err) {
      console.log('db error', err);
      // 如果是连接断开，自动重新连接
      if (err.code === 'PROTOCOL_CONNECTION_LOST') {
          handleError();
      } else {
          throw err;
      }
  });
}
handleError();

//获取当天的时间
var getToday=function(){
var time=new Date();
var year=time.getFullYear();
var day=time.getDate();
if(day<10){
  day='0'+day;
}
var month=time.getMonth()+1;
if(month<10){
  month='0'+month;
}
var date=year+'-'+month+'-'+day;
return date
}



var spider=function(){
  // 1. 请求目标网站
const url = `https://ncov.dxy.cn/ncovh5/view/pneumonia`
superagent
  .get(url)
  .then(res => {
    // console.log(res.text) // 相应的内容
    // 浏览器可以解析html 但是node端不行
    // 2. 去解析html字符串从里面提取对应疫情数据
    const $ = cheerio.load(res.text) // 然后后我们就可以通过jQuery的方法操作dom
    // 获取全国疫情信息数据

    var $getAreaStat = $('#getAreaStat').html()

    // console.log($getListByCountryTypeService1)
    // 使用字符切割 正则匹配 eval函数
    var dataObj = {}

    eval($getAreaStat.replace(/window/g, 'dataObj'))

    //console.log(dataObj)
    // 3. fs写入数据到本地
        var date=getToday();

        var getAreaStat=dataObj.getAreaStat;
        var arr=[]
        getAreaStat.forEach(item => {   
            var provinceCode=item.locationId;
            var result=item.cities;
            //console.log(result);
            if(result.length==0){
              var addSql = 'INSERT INTO alldata2(id,date,province,provinceCode,city,cityCode,confirmed,suspected,cured,dead) VALUES(0,?,?,?,?,?,?,?,?,?)';
              var cityCode=provinceCode;
              var province=item.provinceName;
              var city=province;
              var confirmed=item.confirmedCount;
              var suspected=item.suspectedCount;
              var cured=item.curedCount;
              var dead=item.deadCount;
              var addSqlParams = [date,province,provinceCode,city,cityCode,confirmed,suspected,cured,dead];
              //alldata
              connection.query(addSql, addSqlParams, function (err, result) {
                  if (err) {
                      console.log('[INSERT ERROR-] - ', err.message);
                      return;
                  }
              }); 
            }else{
              result.forEach(res=>{
              var addSql = 'INSERT INTO alldata2(id,date,province,provinceCode,city,cityCode,confirmed,suspected,cured,dead) VALUES(0,?,?,?,?,?,?,?,?,?)';
              var cityCode=res.locationId
              var province=item.provinceName;
              var city=res.cityName;
              var confirmed=res.confirmedCount;
              var suspected=res.suspectedCount;
              var cured=res.curedCount;
              var dead=res.deadCount;
              var addSqlParams = [date,province,provinceCode,city,cityCode,confirmed,suspected,cured,dead];
              //alldata
              connection.query(addSql, addSqlParams, function (err, result) {
                  if (err) {
                      console.log('[INSERT ERROR-] - ', err.message);
                      return;
                  }
              });   
            })
          }
            
        })
      console.log('写入数据成功！')


  })
  .catch(err => {
    throw err
  })
}

//spider();


var spider2=function(){
 var date=getToday();
  var strings="SELECT * FROM `alldata2` WHERE date='"+date+"'"
  connection.query(strings,  function (err, result) {
  if (err) {
      console.log('[INSERT ERROR-] - ', err.message);
      return;
  }else{
      //console.log(result);
      const sleep = function (ms){
          return new Promise(resolve => setTimeout(resolve, ms))
        }
        const requestData = async function(){
          for(var i=0;i<result.length;i++){
              var city=result[i].city;
              var province=result[i].province;
              var provinceCode=result[i].provinceCode;
              var cityCode=result[i].cityCode;
              var confirmed=result[i].confirmed;
              var url='https://restapi.amap.com/v3/geocode/geo?address='+province+city+'&output=JSON&key=a36e6768d9262fcb339a50ce016a5caa'
              //console.log(url);
              request(encodeURI(url),function (error, response, body) {
                  var data =JSON.parse(body)
                  var location=data.geocodes[0].location;
                  //console.log(location)
                  var lng=location.split(',')[0];
                  lng=parseFloat(lng)
                  var lat=location.split(',')[1];
                  lat=parseFloat(lat)
                  var addSql2 = 'INSERT INTO location2(id,date,province,provinceCode,city,cityCode,confirmed,lng,lat) VALUES(0,?,?,?,?,?,?,?,?)';
                  var addSqlParams2 = [date,province,provinceCode,city,cityCode,confirmed,lng,lat];
                  connection.query(addSql2, addSqlParams2, function (err, result) {
                      if (err) {
                          console.log('[INSERT ERROR-] - ', err.message);
                          return;
                      }
                  }); 
              })
              await sleep(200);//每一个循环休息0.2s}
              
          }
        }
        requestData();
  }
  }); 

}

//spider2();


// 创建两个定时任务，第一个任务执行spider函数爬取数据存到数据库中
// 第二个定时任务执行spider2函数，将数据库中的爬取数据 读取出来进行处理，添加地理坐标，再次存到数据库中，获得有地理坐标的数据
var runSchedule =function (cb) {
    // cron风格的配置：每天上午两点05分执行一次
    schedule.scheduleJob('0 5 2 * * *', function () {
        var time=new Date();
        var year=time.getFullYear();
        var day=time.getDate();
        var month=time.getMonth()+1;
        console.log('spider定时任务执行一次'+year+'年'+month+'月'+day+'日');
            cb && cb();
    });
}

//可以按照cron的格式设置
var runSchedule2 =function (cb) {
    // cron风格的配置：每天上午2.10点执行一次
    schedule.scheduleJob('0 10 2 * * *', function () {
      var time=new Date();
        var year=time.getFullYear();
        var day=time.getDate();
        var month=time.getMonth()+1;
        console.log('spider2定时任务执行一次'+year+'年'+month+'月'+day+'日');
          cb && cb();
    });
}
 runSchedule(spider);
 runSchedule2(spider2);

 console.log('定时任务已启动');

三、启动程序

在文件夹空白处，按住键盘ctrl键+鼠标右键 打开cmd命令行：
输入

cnmp i //安装依赖 也就是开头说的库
node spider //安装完所有依赖，执行程序，不关闭cmd就会一直每天爬取了

四、数据表格式

在这里插入图片描述
在这里插入图片描述

GIS_宇宙
关注
  • 2
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
Node.js爬取数据并存放在Mysql中
MyBlog
07-24 969
连接数据库 node.js连接数据库需要先安装mysql包 npm install mysql 连接数据库操作 const mysql = require('mysql') let options = { host: "localhost", user: "root", password: "123123", port: "3306",//可选 database: "mall" } //创建与数据库连接的对象 let con = mysql.createConnection(option
Node.js中导入Mysql数据库模块
m0_50693593的博客
04-19 1612
npm install Mysql包 导入mysql模块，并与mysql建立连接 //导入mysql模块 const mysql = require('mysql') //建立与Mysql之间的连接关系 const db = mysql.createPool({ host: '127.0.0.1', //数据库IP地址 user: 'root', //登录数据库的账号 password: 'admin123', //登录数据库的密码 database: 'my_db_01', //指定要操作的.
使用nodejs操作postgresql
李卓书
06-28 2196
4 pgsql.js postgresql用来连接数据库的配置。自己建立一个用户表users,然后随机生成一些数据即可。这里我将项目放到了gticode里，可以下载下来使用。2 package-lock.json 锁定的版本。5 server.js 依赖express的配置。1 node_modules 依赖。3 package.json 配置。然后运行npm start。
探索高性能的Node.js与PostgreSQL交互——node-pg-native
最新发布
gitblog_00037的博客
05-28 445
探索高性能的Node.js与PostgreSQL交互——node-pg-native 项目地址:https://gitcode.com/brianc/node-pg-native 在这个不断发展的世界中，数据处理和存储的重要性日益凸显。对于Node.js开发者来说，有一个强大的工具能让我们更高效地利用PostgreSQL数据库——那就是node-pg-native。 项目介绍 node-pg-na...
（二）Nodejs实现与数据库相连，完成增删改查和信息录入
weixin_56110008的博客
12-28 2034
nodejs：设计并实现班级同学录数据库和信息查询模块，数据库中保存学生学号、姓名、班级、性别、兴趣爱好、电话、电子邮件、QQ号等信息，能够根据按姓名、按班级、按姓名和班级三种方式查询学生信息。设计并实现班级同学录数据库和信息录入模块，能够将学生学号、姓名、班级、性别、兴趣爱好、电话、电子邮件、QQ号等信息录入数据库。
node 写入数据库
沙鑫741的博客
11-20 945
var mysql = require('mysql'); var fs = require('fs'); var connection = mysql.createConnection({ host: "", // 主机地址 port: 3306, // 端口 user: "", // 数据库访问账号 passw...
Node.js: express + MySQL + Vue实现图片上传
h360583690的博客
06-04 4871
Node.js: express + MySQL + Vue实现图片上传
基于Vue3和Node.js的疫情数据可视化设计源码
04-07
本项目是一个基于Vue3和Node.js的疫情数据可视化项目，包含572个文件，主要文件类型包括JavaScript脚本、Markdown文档、JSON配置文件、TypeScript脚本、ESLint配置文件、YAML配置文件、Vue组件、NYC配置文件和NPM...
Node.js下向MySQL数据库插入批量数据的方法
09-09
主要介绍了Node.js下向MySQL数据库插入批量数据的实现方法，非常不错，具有参考借鉴价值,需要的朋友可以参考下
node.js 开发指南 – Node.js 连接 MySQL 并进行数据库操作
01-20
Node.js是一套用来编写高性能网络服务器的JavaScript工具包   通常在NodeJS开发中我们经常涉及到操作数据库，尤其是 MySQL ，作为应用最为广泛的开源数据库则成为我们的首选，本篇就来介绍下如何通过NodeJS来操作 ...
Node.js数据库操作之查询MySQL数据库（二）
12-23
我们在上一篇文章《Node.js数据库操作之连接MySQL数据库（一）》中已经学习了Nodejs连接MySQL数据库的几种方法，数据库连接上了之后就需要对数据库进行查询。本篇文章介绍一下查询MySQL数据库的方法。下面话不多说，...
node.js从数据库获取数据
12-23
本文需要用node.js做一个从Sqlserver获取数据并显示到页面上的小功能，下面就为大家分享： app.js： var sqlbll = require('./routes/sqlbll'); ... app.get('/sqlbll/:ver', function(req, res){ var versionId=...
Node.js如何从前端接收参数，然后保存到数据库
小翁的博客
12-06 2662
我们数据是从前端传到服务器，服务器传到数据库。再从数据库传到服务器，服务器再传到前端。
node 爬虫mysql_node.js抓取数据（fake小爬虫）
weixin_29471325的博客
02-08 192
在node.js中，有了cheerio模块、request模块，抓取特定URL页面的数据已经非常方便。一个简单的就如下var request = require('request');var cheerio = require('cheerio');request(url,function(err,res){if(err) return console.log(err);var $ = chee...
Node.JS查询Mysql数据库输出到页面
热门推荐
Smile浅唱
04-27 1万+
最近在学习Node.JS,开发后台难免不会与数据库打交道，这里我采用的是MySQL数据库。今天主要是总结一下如何查询数据库里面的内容，然后以JSON数据格式输出到页面。准备工作首先安装mysql模块:npm install mysql -g.然后在mysql里面建一个测试数据库，一个表，一些测试数据。这些我就不贴代码了。 开始首先我在项目新建一个db.js,主要是编写一下数据库连接。 /** *
Node+express+ejs+mysql制作查询数据呈现前端页面
Henry的博客
10-07 957
该案例使用node+express+ejs+mysql共同实现，实现效果很简单，查询数据库，获取数据后，呈现在前端页面上面，连接mysql或者数据很简单，核心点在使用ejs
Nodejs如何连接Mysql
m0_54281014的博客
01-10 1992
nodejs是如何连接mysql数据库的
nodejs实现创建数据库并通过前端发送请求将数据循化插入到表中
baidu_41941883的博客
12-31 1339
前端通过请求获取到对应表结构以及表数据进行导库操作
mysql主从同步 node.js分布式解决数据库同步问题的各种坑点分析.
sunwanfulove的博客
09-09 651
mysql主从同步 node.js分布式解决数据库同步问题的各种坑点分析.
04初识 Node.js-数据库与身份认证
03-09
Node.js作为一个服务器端的JavaScript运行环境，可以用来处理大量的数据交互和用户验证，使得Web应用程序更加健壮和安全。 1. 数据库的基本概念 数据库是用于存储和管理数据的系统，它提供了一种结构化的数据组织...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GIS_宇宙

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值