09-抓包入库

最新推荐文章于 2022-03-28 10:45:53 发布

༺.雨巷.༻

最新推荐文章于 2022-03-28 10:45:53 发布

阅读量6.5k

点赞数 1

本文链接：https://blog.csdn.net/xue1163/article/details/107970566

版权

本文介绍了如何进行抓包入库操作，包括抓包的步骤（导包、创建请求实例、发请求、存储数据）和入库过程（导入相关库、连接数据库、建立Model）。内容详细阐述了从抓取数据到存入数据库的整个流程。

摘要由CSDN通过智能技术生成

一、抓包入库

抓包

1.1. 导包

1.2. 创建一个请求英雄信息的实例

1.3 发请求

1.4 声明一个全局变量heros数组，用来存放所有的英雄的

1.5 创建一个请求详情的爬虫实例

1.6 要等待所有的请求全部做完之后，才能入库
入库

2.1 导包

2.2 连接数据库

2.3 3.创建Model(表格模型：负责增删改查)

代码

// 1.抓包：用爬虫crawler插件来爬网页上的数据
// 2.入库：用mysql-ithm插件吧爬到的数据装进数据库中


// 1.抓包
// 导包
var Crawler = require("crawler");
// 创建一个请求英雄信息的实例
var c = new Crawler({
     
    maxConnections : 10,
    // This will be called for each crawled page
    callback : function (error, res, done) {
     
        if(error){
     
            console.log(error);
        }else{
     
            var $ = res.$;
            // $ is Cheerio by default
            //a lean implementation of core jQuery designed specifically for the server
            // console.log(JSON.parse(res.body));// 所有英雄，包含了所有对象的数组
        
            // 所有的英雄，都要去获取他的头像和技能.
            // 所以要遍历出每一个英雄的ename，拼接一个详情页路径重新发送请求.
            JSON

最低0.47元/天解锁文章