如何用node.js去获取静态页面资源?方法一

本文介绍了如何利用Node.js的http模块和cheerio库来抓取并解析静态网页,特别是百度新闻的热点新闻。通过发送HTTP请求获取页面数据,然后使用cheerio解析HTML,提取新闻标题和链接,最后将结果存储在数组中并通过本地服务器返回。
摘要由CSDN通过智能技术生成

 

//node中的不同模块

var http = require('http');

 

//导入cheerio读取html的节点

const cheerio = require('cheerio')

let hotNews = [];

//第二种方式,用node去读取页面信息 百度新闻为例

var options = {

hostname: 'news.baidu.com',

port: 80,

method: 'get'

}

var str = '';

//对目标页面发起请求

var req = http.request(options, (res) => {

//读取页面信息

res.on("data", (data) => {

str += data;

})

//读取完数据,对数据进行一些操作

res.on('end', () => {

let $ = cheerio.load(str);

//读取百度新闻页面左侧的热点新闻

$('div#pane-news ul li a').each((index, item) => {

// cherrio中$('selector').each()用来遍历所有匹配到的DOM元素

let news = {

title: $(item).text(), // 获取新闻标题

href

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值