从零开始的Node.js新闻爬虫实验项目（三）一个示例网站的爬取

最新推荐文章于 2024-05-04 18:04:52 发布
最新推荐文章于 2024-05-04 18:04:52 发布
阅读量632 收藏 1
点赞数 1
分类专栏： 从零开始的Node.js新闻爬虫实验项目 文章标签： nodejs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46486064/article/details/104791040
版权

这是计划的第1~2步
对比了各要求爬取的网站之后，先选择HTML结构简单的的雪球网进行尝试。

1）分析HTML结构

雪球网主页
F12打开Chrome的控制台，可以看见其HTML源码；
其结构比较简单：首先，观察到每则新闻都在各自的class=AnonymousHome_home__timeline__item_3vU下，各种信息都以文本方式存储在结构中。

2）一级网址信息爬取

先试试能否爬取标题，

console.log($('.AnonymousHome_home__timeline__item_3vU','div').find('h3').children('a').text());

观察到一下结构，于是利用.find(‘h3’).children(‘a’).text()选出其中的标题并找出纯文本内容，并将这一行插入示例源码中。
标题结构
标题输出
很明显所有标题都抓取成功，接下来整理标题

    var html = body;
    var titles = []
    var $ = myCheerio.load(html, { decodeEntities: false });
    $('.AnonymousHome_home__timeline__item_3vU', 'div').find('h3').children('a').each(function (idx, element){
        titles.push({
            title:$(element).text()
        })
    })
    console.log(titles);

利用each()对每个标题做处理，利用一个匿名函数吧每个标题作为一个对象存入数组titles中（利用element变量传递函数外的查找路径）
标题数组输出
接下来为了便于整理数据，将每篇文章的标题都作为一篇文章对象的属性

    var html = body;
    var newsArr = [];
    var $ = myCheerio.load(html, { decodeEntities: false });

    var item = $('.AnonymousHome_home__timeline__item_3vU', 'div')

    item.map(function (idx, element) {
        var news = {};

        news.title = $(element).find('h3').children('a').text();

        newsArr.push(news);
    })
    console.log(newsArr);

将每一个标题存储为一个news中的title属性，并且存入数组newsArr中；
接下来，设计爬取其他信息的方式：

        news.link = "https://xueqiu.com" + $(element).find('h3').children('a').attr('href');
		//链接
        news.editor = $(element).find('div').children('a').text();
		//编辑
        temp1 = $(element).find('.AnonymousHome_category_5zp').text().split(' ');
        news.from = temp1[temp1.length - 1];
		//来源
        temp2 = $(element).find('div').children('span').text();
        news.time = temp2.substr(temp2.length - 11, temp2.length);
		//发布时间
        news.read = $(element).find('.AnonymousHome_read_2t5').text();
		//阅读量
        news.contain = $(element).find('p').text();
        //摘要

基本是使用相同的方式，对于部分数据做了简单字符串操作，使其美观
信息爬取
每项信息都可以正确的爬取到，接下来为了爬取每则新闻的正文内容，对获得的二级网址再进行爬取

3）二级网址信息爬取

首先同样分析HTML结构，非常之简洁
新闻页面

//先单独写一个获取信息的脚本
var myRequest = require('request')
var myCheerio = require('cheerio')
var myURL = 'https://xueqiu.com/1333325987/142925519'
function request(url, callback) {//request module fetching url
    var options = {
        url: url, encoding: null, heagers: null
    }
    myRequest(options, callback)
}

request(myURL, function (err, res, body) {
	var html = body;
    var $ = myCheerio.load(html, { decodeEntities: false });
    var source = $('.article__bd__from', 'div').children('a').text();
	var texts = [];
	$('.article__bd__detail', 'div').children('p').each(function (idx, element){
		texts.push({
			texts:$(element).text()
		})
	})
    console.log(texts);
})

新闻页面输出
可以看见正文内容可以正常地爬取到，接下来用简单的字符串操作删去不需要的首行和空文本

	texts.shift();
	for(var i=0,n=0;i<texts.length;i++){
		if(texts[i].texts.length == 0) {  
			texts.splice(i, 1);
		}
	}

于是，接下来尝试利用函数将爬取二级网址的功能植入源码中

var myRequest = require('request')
var myCheerio = require('cheerio')
var Promise = require('bluebird');
var myURL = 'https://xueqiu.com'

function request(url, callback) {//request module fetching url
    var options = {
        url: url, encoding: null, heagers: null
    }
    myRequest(options, callback)
}

var newsArr = [];

function getTexts(url) {
    request(url, function (err, res, body) {
        var html = body;
        var $ = myCheerio.load(html, { decodeEntities: false });
        var source = $('.article__bd__from', 'div').children('a').text();
        var texts = [];
        $('.article__bd__detail', 'div').children('p').each(function (idx, element) {
            texts.push({
                texts: $(element).text()
            })
        })
        texts.shift();

        for (var i = 0, n = 0; i < texts.length; i++) {
            if (texts[i].texts.length == 0) {
                texts.splice(i, 1);
            }
        }
        console.log(source);
        return source;
    })
}


request(myURL, function (err, res, body) {
    var html = body;

    var $ = myCheerio.load(html, { decodeEntities: false });

    var item = $('.AnonymousHome_home__timeline__item_3vU', 'div')

    item.map(function (idx, element) {
        var news = {};

        news.title = $(element).find('h3').children('a').text();
        news.link = "https://xueqiu.com" + $(element).find('h3').children('a').attr('href');
        news.editor = $(element).find('div').children('a').text();
        news.source = '';
        temp1 = $(element).find('.AnonymousHome_category_5zp').text().split(' ');
        news.category = temp1[temp1.length - 1];
        temp2 = $(element).find('div').children('span').text();
        news.time = temp2.substr(temp2.length - 11, temp2.length);
        news.read = $(element).find('.AnonymousHome_read_2t5').text();
        news.contain = $(element).find('p').text();
        news.texts = '';
        news.source = getTexts(news.link);
        newsArr.push(news);
    })
    console.log(newsArr);
})

在这里插入图片描述
然而，二级网址的信息并没有爬取到；
查阅了资料，这是因为JavaScript具有异步行为，在执行到 news.source = getTexts(news.link); 的时候，程序并不等待二级网址的爬取，而是先执行 newsArr.push(news); 将news存入newsArr中，因此 source 依然是 undefined。
接下来对解决这个问题做了尝试，先使用了request-promise代替request，并将 newsArr.push(news); 作为 getText() 的回调函数，然而依然无法解决问题

var cheerio = require('cheerio')
var rp = require('request-promise')

var options = {
    uri: 'https://xueqiu.com',
    transform: function (body) {
        return cheerio.load(body);
    }
}


function getTexts(newsArr, news, callback) {
    var options = {
        uri: news.link,
        transform: function (body) {
            return cheerio.load(body);
        }
    }
    rp(options)
        .then(function ($) {
            news.source = $('.article__bd__from', 'div').children('a').text();
            var texts = news.texts;
            $('.article__bd__detail', 'div').children('p').each(function (idx, element) {
                texts.push({
                    texts: $(element).text()
                })
            })
            texts.shift();
    
            for (var i = 0, n = 0; i < texts.length; i++) {
                if (texts[i].texts.length == 0) {
                    texts.splice(i, 1);
                }
            }
        })
    callback(newsArr, news);
}

rp(options).then(function ($) {
        var newsArr = [];
        var item = $('.AnonymousHome_home__timeline__item_3vU', 'div')

        
        item.map(function (idx, element) {
            var news = {};
            news.title = $(element).find('h3').children('a').text();
            news.link = "https://xueqiu.com" + $(element).find('h3').children('a').attr('href');
            news.editor = $(element).find('div').children('a').text();
            news.source = '';
            temp1 = $(element).find('.AnonymousHome_category_5zp').text().split(' ');
            news.category = temp1[temp1.length - 1];
            temp2 = $(element).find('div').children('span').text();
            news.time = temp2.substr(temp2.length - 11, temp2.length);
            news.read = $(element).find('.AnonymousHome_read_2t5').text();
            news.contain = $(element).find('p').text();
            news.texts = [];

            getTexts(newsArr, news, function(newsArr, news) {
                newsArr.push(news);
            });
        })
        console.log(newsArr);
    })

在这里插入图片描述
即使将push进行回调，依然没有source和texts的信息，推测是request-promise的异步行为所致。由于不深入了解其异步行为，暂时跳过这些内容，在获得二级目录下信息后立即输出，这样就不用考虑request和push的先后了
爬取部分的最终代码：

var cheerio = require('cheerio')
var rp = require('request-promise')
var options = {
    uri: 'https://xueqiu.com',
    transform: function (body) {
        return cheerio.load(body);
    }
}

//获得二级目录信息
function getTexts(newsArr, news, callback) {
    var options = {
        uri: news.link,
        transform: function (body) {
            return cheerio.load(body);
        }
    }
    rp(options).then(function ($) {
            //获得source
            news.source = $('.article__bd__from', 'div').children('a').text();
            //获得texts，并且清除无效部分
            var texts = news.texts;
            $('.article__bd__detail', 'div').children('p').each(function (idx, element) {
                texts.push({
                    texts: $(element).text()
                })
            })
            texts.shift();
            for (var i = 0, n = 0; i < texts.length; i++) {
                if (texts[i].texts.length == 0) {
                    texts.splice(i, 1);
                }
            }
            console.log(news); //直接输出news，不再push入newsArr中
        })
    //callback(newsArr, news);
}

rp(options).then(function ($) {
        var newsArr = [];
        var item = $('.AnonymousHome_home__timeline__item_3vU', 'div')
        item.map(function (idx, element) {
            var news = {};
            news.title = $(element).find('h3').children('a').text();
            news.link = "https://xueqiu.com" + $(element).find('h3').children('a').attr('href');
            news.editor = $(element).find('div').children('a').text();
            news.source = '';
            temp1 = $(element).find('.AnonymousHome_category_5zp').text().split(' ');
            news.category = temp1[temp1.length - 1];
            temp2 = $(element).find('div').children('span').text();
            news.time = temp2.substr(temp2.length - 11, temp2.length);
            news.read = $(element).find('.AnonymousHome_read_2t5').text();
            news.contain = $(element).find('p').text();
            news.texts = [];
            getTexts(newsArr, news, function(newsArr, news) {
                newsArr.push(news);
            });
        })
        //console.log(newsArr);
    })

在这里插入图片描述
可以看到，所有信息都可以被正确的爬取到，最后一步是将其存储至文件中

4)存储信息

需要用到的语法

var fs = require('fs') //导入文件操作模块

var str = JSON.stringify(object) //将对象信息转换为JSON文本

fs.writeFile('./xueqiu.json', JSON.stringify(news) + '\n', {'flag': 'a'}, function(err) {
        if (err) {
            return console.error(err);
        }
})
//以追加方式存入文件

最终的效果：
JSON
最终的代码：

var cheerio = require('cheerio')
var rp = require('request-promise')
var fs = require('fs')
var options = {
    uri: 'https://xueqiu.com',
    transform: function (body) {
        return cheerio.load(body);
    }
}

fs.unlink('./xueqiu.json', function(err) {
    if (err) {
        return console.error(err);
    }
})



//获得二级目录信息
function getTexts(newsArr, news, callback) {
    var options = {
        uri: news.link,
        transform: function (body) {
            return cheerio.load(body);
        }
    }
    rp(options).then(function ($) {
            //获得source
            news.source = $('.article__bd__from', 'div').children('a').text();
            //获得texts，并且清除无效部分
            var texts = news.texts;
            $('.article__bd__detail', 'div').children('p').each(function (idx, element) {
                texts.push({
                    texts: $(element).text()
                })
            })
            texts.shift();
            for (var i = 0, n = 0; i < texts.length; i++) {
                if (texts[i].texts.length == 0 || texts[i].texts == ' ') {
                    texts.splice(i, 1);
                }
            }
            fs.writeFile('./xueqiu.json', JSON.stringify(news) + '\n', {'flag': 'a'}, function(err) {
                if (err) {
                    return console.error(err);
                }
            })
            console.log(news); //直接输出news，不再push入newsArr中
        })
    //callback(newsArr, news);
}

rp(options).then(function ($) {
        var newsArr = [];
        var item = $('.AnonymousHome_home__timeline__item_3vU', 'div')
        item.map(function (idx, element) {
            var news = {};
            news.title = $(element).find('h3').children('a').text();
            news.link = "https://xueqiu.com" + $(element).find('h3').children('a').attr('href');
            news.editor = $(element).find('div').children('a').text();
            news.source = '';
            temp1 = $(element).find('.AnonymousHome_category_5zp').text().split(' ');
            news.category = temp1[temp1.length - 1];
            temp2 = $(element).find('div').children('span').text();
            news.time = temp2.substr(temp2.length - 11, temp2.length);
            news.read = $(element).find('.AnonymousHome_read_2t5').text();
            news.contain = $(element).find('p').text();
            news.texts = [];
            getTexts(newsArr, news, function(newsArr, news) {
                newsArr.push(news);
            });
        })
        //console.log(newsArr);
    })

本实验项目源码：https://github.com/AquariusAQ/Web-Crawler-in-Node.js

Aquarius_祈
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Python数据挖掘课程】一.安装Python及爬虫入门介绍
杨秀璋的专栏
09-19 3万+
最近因为需要给大数据金融学院的学生讲解《Python数据挖掘及大数据分析》的课程，所以在这里，我将结合自己的上课内容，详细讲解每个步骤。作为助教，我更希望这门课程以实战为主，同时按小组划分学生，每个小组最后都提交一个基于Python的数据挖掘及大数据分析相关的成果。但是前面这节课没有在机房上，所以我在CSDN也将开设一个专栏，用于对该课程的补充。希望该文章对你有所帮助
Spring Boot + WebMagic 实现网页爬虫，写得太好了！
2401_84091468的博客
04-20 907
后记总结一下这三次面试下来我的经验是：一定不要死记硬背，要理解原理，否则面试官一深入就会露馅！代码能力一定要注重，尤其是很多原理性的代码（之前两次让我写过Node中间件，Promise.all，双向绑定原理，被虐的怀疑人生）！尽量从面试官的问题中表现自己知识的深度与广度，让面试官发现你的闪光点！多刷面经！
Node.js爬取新闻数据
01-11
使用Node.js8.60编写的爬虫程序，爬取新浪网站NBA新闻数据，保证正确无误，欢迎下载！
node.js新闻爬虫、新闻正文抓取，项目效果图
Full Stack
03-31 5029
项目详细介绍请参考博客 ：http://blog.csdn.net/kissliux/article/details/19560603 项目源码开源在github：https://github.com/kissliux/rssSpider   项目旨在提供免费的新闻列表和新闻正文服务，目前没有找到合适的服务器。 哪位大神有服务器可以放一个node.js应用程序的 请联系我，跪谢
实验楼学习nodejs
silianghyr的博客
03-24 368
nodejs初体验
node.js实训
qq_45676798的博客
07-12 628
第一天： 音乐门户网站数据采集 搜索列表数据采集 歌曲MP3地址的获取 node环境安装 node环境的安装 — node安装包下载 https://nodejs.org/en/ visual studio code 编辑器的安装 官网地址下载并直接安装即可 https://code.visualstudio.com/ node服务器搭建 桌面上新建一个文件夹 node_server_demo 终端 cd 到 新建的文件夹中 通过 npm init 指令， 将 普通文件夹 node_ser
Node.js新闻爬虫实验项目（0）目录
qq_20781643的博客
04-27 195
要求 参考教程与开发工具 建立云服务器及安装开发环境 爬虫代码分析 简单尝试mysql查询数据库 简单http前后端框架 简单express前后端框架 express开发环境 express前后端基于之前成果的扩展 ...
Node.js期中爬虫实验项目
weixin_51076879的博客
04-17 311
Node.js期中爬虫实验项目期中作业要求基础概念引入前期准备工作安装node.js安装数据库安装Navicat Premium 15课堂示例演示示例一（显示在终端中代码运行结果示例二（保存在本地文件代码代码分析运行结果示例三（保存在数据库中代码运行结果爬虫项目展示 期中作业要求 基础概念引入 前后端 前台：呈现给用户的视觉和基本的操作。 后台：用户浏览网页时，我们看不见的后台数据跑动。后台包括前端、后端。 前端：对应html、css、javascript 等网页语言作用在前端网页。 后端：对应jsp、
从零学习node.js之简易的网络爬虫（四）.docx
01-22
在本篇《从零学习Node.js之简易的网络爬虫（四）》中，我们将深入探讨如何使用Node.js实现一个简单的网络爬虫。Node.js是一个基于Chrome V8引擎的JavaScript运行环境，它允许开发者在服务器端使用JavaScript进行编程...
2024年最全使用C++编写一个DHT爬虫，实现从DHT网络爬取BT种子_c++实现dht，2024年最新算法题面试
最新发布
m0_61408947的博客
05-04 891
我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。
北邮数据库自主实验nodejs+mysql
03-27
所有的要点全部列在博客里了，需要的自己查看 链接：https://blog.csdn.net/sky1679/article/details/88839569
node js + koa2 简单新闻管理系统
09-11
node js + koa2 简单新闻管理系统 mysql 数据库 新建数据库 mybookdb 然后后运行转储sql文件mybookdb.sql
Node.js-spiderurlnodejs爬取网站的a标签链接
08-09
spider_url：node js爬取网站的a标签链接
node-website-scraper, 下载网站到本地目录( 包括所有的css，图片，js，等等 ).zip
09-18
node-website-scraper, 下载网站到本地目录( 包括所有的css，图片，js，等等 ) 简介下载网站到本地目录( 包括所有的css，图片，js，等等 ) 你可以在演示应用程序 ( 源) 中试用它注意：默认情况下动态网站( js加载内容的地方) 可能保存不正确，因为 website
使用Node.js编写爬虫抓取大麦网场馆数据
10-19
http://devuser.github.io/docker-spider/ 使用Node.js编写爬虫抓取大麦网场馆数据。 仅用于初学者，请勿用于非法用途，切勿频繁访问大麦网。
Node.js爬虫实验项目（四）代码实现
Emma的博客
05-07 275
（电脑出了一些问题暂时不能放图） 构建网站 搭建express手脚架来搭建网络构架。 npm install -g express-generator 搭建项目，创建基本文件。 express -e search_site 进入项目，补齐依赖 npm install mysql --save npm install 随后就可以把mysql.js文件拷贝和之前写好的代码放入文件夹里cmd运...
node.js爬虫获取新闻TOP10
前端江湖
03-09 269
随着各种APP和网页的使用的增多，我们查看资讯就需要打开各个APP进行查看，耗时且耗费我们很多精力。很多时候我们想要把数据收集起来，放在自己的系统中进行统一展示输出。数据收集的方法由手工记录，剪贴报，截图，手工复制粘贴等传统方法，这里我们尝试使用 node.js 来对信息进行采集处理成我们需要的格式供我们使用。
nodejs爬虫项目实战
weixin_33716941的博客
06-17 99
这篇文章主要介绍了NodeJS制作爬虫的全过程，包括项目建立，目标网站分析、使用superagent获取源数据、使用cheerio解析、使用eventproxy来并发抓取每个主题的内容等方面，有需要的小伙伴参考下吧。 一、 依赖 1. DOM操作 cheerio 2. 请求插件 request 3. http库 superage...
Node.js Express博客项目实战 之 新闻管理
weixin_30569033的博客
08-29 278
添加页面：（add.html） 在视图views中新建文件夹news,新建index.html,add.html,edit.html,首先进行add.html页面的书写 add.html的页面显示： 将该页面进行在后台新闻路由中进行加载，首先得在后台路由中去进行注册； // 新闻管理 let newsRouter = require('./admin/new...
Node.js爬虫项目详解：从零到一（上）
"本文主要介绍了如何使用Node.js构建一个细致入微的爬虫项目，旨在帮助初学者理解和学习JavaScript、HTML语法以及Node.js模块的使用。作者将分享项目实现过程，包括模块引用、爬取种子网页、爬取新闻网页、数据处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值