以"慕课网"为例使用nodeJS爬取动态网页中的动态数据

最新推荐文章于 2021-04-15 11:09:28 发布
最新推荐文章于 2021-04-15 11:09:28 发布
阅读量4.4k 收藏
点赞数
分类专栏： nodejs 文章标签： 爬取动态网站 爬取动态数据 慕课网 nodejs 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PengShaoB/article/details/53511377
版权

以前nodeJS教程出来的时候，慕课网站上的“学习人数”是静态数据，教程中是可以直接爬取。

然而现在却改成了动态js加载,请看大屏幕：

照着教程写下来的代码，爬下来的数据居然为空，任性！

解决方法

  1. 自行分析网页异步加载【优点：通常能够获取到十分简洁清晰的数据】

    • 步骤一：使用谷歌浏览器自带的F12网页分析工具
      步骤一
    • 步骤二：在network中找到对应数据的异步加载
      步骤二
    • 步骤三：访问找到的异步加载的url
      返回来的数据居然是JSON

  2. 通过网络上的框架来模拟浏览器，等网页js渲染结束后再进行爬取【优点：不用自行分析网站】

    • 这个可以在开源社区搜索即可

后面就看大家的了，哈哈哈哈，慕课网要被玩坏了····

躺在草地看天空_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
nodejs 爬取动态网页，前端framework视频
rdytfuygiohi的博客
04-04 998
///从哪一页开始爬//爬到哪一页//初始请求地址var i = 0;//用来判断存储还是访问var temp=0;//存储首页urlurlList=[];//封装了一层函数},2000)//首先存储要访问界面的urltemp++;});//由于获取到的数据是JSON格式的，所以需要JSON.parse方法浅解析page++;else{})});getUrl(x);else{
node.js爬虫——爬取CSDN首页的文章内容
zem
07-31 906
在node.js出现之后，我们也可以使用JavaScript来实现爬虫了，对应于http和https，我们只要引入http或者https模块就可以爬取对应的数据，在爬取文章数据后我们将其保存到本地文件中，首先导入三个模块 导入模块 这里要导入三个模块， https：用于实现爬虫 cheerio：用于处理数据 fs：用于将数据写入本地文件中 const https = require("https...
node.js爬取数据(实操)
gaodda的博客
07-04 547
1.准备工作 前提是安装过node 准备一个文件夹， 比如：“drag-data” 依次安装依赖 npm install https request cheerio --save 在文件夹drag-data下创建data和image两个文件，用来存储抓取的数据 （抓取豆瓣电影url=“https://movie.douban.com/subject/1291843/?from=subject-pa...
node.js（六）之crawler爬虫模块爬取王者荣耀官网所有英雄资源信息
马云
07-06 3998
node.js爬虫模块爬取王者荣耀所有英雄信息 一、准备工作 https://pvp.qq.com/web201605/herolist.shtml进入王者荣耀所有英雄页面： 你会看到所有的英雄，打开F12开发者模式 打开network， 下面找XHR，刷新下网页， 下面会出现一个herolist.json的文件. 鼠标左击herolist.json 得到该json文件路径 二、node.js编码环节 大概步骤： 创建一个文件夹 用cmd方式打开该文件夹 安装crawler爬虫模块：npm
nodejs如何读取表格的数据
a15240780264的博客
04-15 625
1、使用 npm i node-xlsx --save 安装插件 2、// 解析得到文档中的所有 sheet const sheets = xlsx.parse(exBuf) 3、代码如下所示： readExcel (req, res) { const data = [] sheets.map(function (sheet) { // 读取每行内容 sheet['data'].splice(0, 1) // 删除第一行的内容，比如：姓名，性别等 for (var rowI
使用Node爬虫中国所有大学数据（一）
liujiawei00的博客
05-28 536
Nest是用于构建高效，可扩展的Node.js服务器端应用程序的框架。它使用渐进式JavaScript，内置并完全支持TypeScript，并结合了OOP（面向对象编程），FP（函数式编程）和FRP（函数响应式编程）。 在底层，Nest默认使用Express这类的健壮的服务端框架，并且你可以选择自己配置使用Fastify。 Nest在这些常见的Node.js框架（Express / Fastify）之上提供了一个抽象级别，但也直接向开发者公开了它们的API。 这使开发人员可以自由使用底层平台的第三方库。 这
使用nodejs爬取前程无忧前端技能排行
10-19
主要介绍了使用nodejs爬前程无忧前端技能排行,非常不错，具有参考借鉴价值，需要的朋友可以参考下
用nodejs的实现原理和搭建服务器(动态)
01-21
1.安装nodejs，安装完后在cmd命令行中敲入node -v，查看版本。 2.在cmd中敲入npm config list查看是否安装npm。 3.设置镜像地址。 淘宝镜像：在命令行中敲入npm config set registry=...
nodejs 抓取动态网页数据(也可以采集ajax读取的内容).zip
最新发布
12-31
源码参考 欢迎下载
NodeJs-Farm-Project:使用 nodejs 进行动态数据渲染和路由
08-05
该项目基于动态数据渲染，使用模板作为基础，并据此路由页面。 如何开始 在您的系统中安装 Nodejs v14.xx+ 安装所有必要的包（不在这个项目中，而是在imp命令“npm install”中） 在项目的根目录中运行服务器...
Node.js 抓取(爬虫)别人的接口（get、post）获取数据 生成 Excel
棋鬼王的博客
12-16 2225
const xlsx = require('node-xlsx')//xlsx 库 const fs = require('fs') //文件读写库 const request = require("request");//request请求库 let data = [] // 把这个数组写入excel request({ url: "https://qudao.youzan.c...
Node.js-spiderurlnodejs爬取网站的a标签链接
08-09
spider_url：node js爬取网站的a标签链接
手把手教你用Node.js爬虫爬取网站数据的方法
10-18
主要介绍了手把手教你用Node.js爬虫爬取网站数据，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
Node + TypeScript 实战肺炎疫情实时动态数据爬虫
快乐的工程师的博客
02-26 1172
Node + TypeScript 实战肺炎疫情实时动态数据爬虫 爬虫 来自维基百科： 爬虫，网络爬虫（英语：Web Crawler），也叫网络蜘蛛（Spider）。 通俗一点讲，就是一段自动化的代码，它会模拟人的行为，去浏览一些网站，然后把需要的、有价值的信息拿回来。 我们这篇文章的目标是把全国新冠肺炎疫情实时动态：https://ncov.dxy.cn/ncovh5/view/pneumo...
用Node.js爬取动态网页，这可能是最简洁的方式
weixin_33834075的博客
06-15 911
现在网页大多是动态网页，如果只是单纯地通过爬取网页HTML文件，根本爬取不到需要后续加载的商品价格或图片等重要信息，更别谈那些丧心病狂的登录限制，对于小爬虫来说，去分析那些复杂的脚本得不偿失，更别谈网站还会与时俱进地更新，好不容易破解了，人家一更新又得从头来，这都大大提高了小爬虫的难度。 但幸好，在Node.js里有那么一款神器，无惧网站的登录限制和反爬虫措施，以不变应万变，通过一招简单的模拟用户...
nodeJs 实现爬取网页信息
逍遥绝情的博客
09-06 5726
'use strict';// 引入模块 var https = require('https'); var fs = require('fs'); var path = require('path'); var cheerio = require('cheerio');// 爬虫的 URL 信息 var opt = { hostname: 'movie.douban.com', p
Node.js学习之网络爬虫（使用cheerio抓取网页数据）
热门推荐
小菜鸟入门
06-19 3万+
准备工作 1.安装node.js开发环境：http://www.runoob.com/nodejs/nodejs-install-setup.html 2.了解cheerio库 英文：https://github.com/cheeriojs/cheerio 中文：https://cnodejs.org/topic/5203a71844e76d216a727d2e
node.js 爬取网页数据
kelezx的博客
03-23 483
准备工作 安装node 环境 然后下载npm 切换淘宝镜像 代码如下 const axios = require('axios') const cheerio = require('cheerio') const fs = require('fs') // 需要引入的模块 const urlmove = 'http://www.bbsnet.com/gif' // 请求回来的promise对象数据 function req (url) { return axios.get(url).then(func
nodejs提取网页内容
huyinhou
12-30 6392
今天，在公司想用nodejs提取一下http://msdn.microsoft.com/zh-CN/library/windows/desktop/hh802935(v=vs.85).aspx 里面的API函数列表，做一个帮助文档。 谁知道，公司电脑上安装的是vs2005,在安装jsdom进行编译的时候一直报错，node-jquery也是一样。 晚上，回来了在自己电脑上又试了一遍，笔记本上装的
nodejs爬取网页内容
06-10
要使用 Node.js 爬取网页内容，可以使用第三方库 `axios` 或 `request` 来发送 HTTP 请求获取网页内容，同时使用 `cheerio` 或 `jsdom` 来解析 HTML 文档。 以下是一个使用 `axios` 和 `cheerio` 的例子： ```javascript const axios = require('axios'); const cheerio = require('cheerio'); axios.get('https://www.example.com') .then(response => { const html = response.data; const $ = cheerio.load(html); const title = $('title').text(); console.log(title); }) .catch(error => { console.log(error); }); ``` 这个例子中，我们使用 `axios` 发送 GET 请求到 `https://www.example.com`，然后获取响应的 HTML 内容。接着，我们使用 `cheerio` 将 HTML 转换为可操作的 DOM 对象，然后使用 jQuery 的语法来获取网页的标题，并将标题输出到控制台。 注意，如果要爬取的网站需要登录或使用代理等特殊操作，需要使用相应的技术来处理。另外，爬取网页内容时也要注意遵守网站的规则，不要过度请求或泄露用户隐私。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值