javascript爬取网页数据

最新推荐文章于 2024-03-01 21:12:37 发布
最新推荐文章于 2024-03-01 21:12:37 发布
阅读量1.5k 收藏 1
点赞数
文章标签： javascript css html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxc_yc/article/details/113029106
版权 
var dd =document.querySelectorAll('#box li')    // 要用All  返回一个数组
// dd 返回下列内容
NodeList(20) [li, li, li, li, li, li, li, li, li, li, li, li, li, li, li, li, li, li, li, li]
// 遍历tittl
for(var dom of dd){
    console.log(dom.querySelector('span').innerText)
}
// 返回结果
多亮 - 剑震江湖
sentry5.6.1.min.js:2 江映蓉 - 依然
sentry5.6.1.min.js:2 Sunnee杨芸晴 - 乘风破浪
sentry5.6.1.min.js:2 周深 - 归处
sentry5.6.1.min.js:2 Billie Eilish、ROSALÍA - Lo Vas A Olvidar
sentry5.6.1.min.js:2 By2 - 大红包
sentry5.6.1.min.js:2 萨顶顶 - 海底
sentry5.6.1.min.js:2 Ty.、AnsrJ、Dj Chronic - 新西部爱情
sentry5.6.1.min.js:2 刘若英 - 黄金年代
sentry5.6.1.min.js:2 张杰 - 像一道光
sentry5.6.1.min.js:2 吴琼 - 醉清欢
sentry5.6.1.min.js:2 毛阿敏 - 迷雾之光
sentry5.6.1.min.js:2 胡夏 - 无人知晓的梦
sentry5.6.1.min.js:2 赵慧仙(선재) - I’m Missing You
sentry5.6.1.min.js:2 邓典果DDG、Sway X - Shake
sentry5.6.1.min.js:2 请夏 - X
sentry5.6.1.min.js:2 满舒克 - LOOK FOR ME
sentry5.6.1.min.js:2 AKA宝藏潮牛、侯志斌、宋文洋、飞鸟 - 恭喜恭喜
sentry5.6.1.min.js:2 告五人 - 唯一
sentry5.6.1.min.js:2 白安 - 白色
// 遍历图片地址
for(var dom of dd){
// console.log(dom.querySelector('span').innerText)  tittl的遍历
    console.log(dom.querySelector('img').src)
}
// 返回结果
https://p3fx.kgimg.com/mvpic/e4/52/e452cec897f538c33175898ad2defee9.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/f8/32/f832fa2620302e56c3b5b1eaf7c36465.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/27/9b/279bb84ef43c4fdd4efa5130da9b87c8.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/c8/e1/c8e1a89390563d657bd1517c4a28045c.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/9b/94/9b94490b6b552caeedd7d223dc1f5eb3.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/77/38/77385df8c26694b00b05a0a8de4f1658.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/36/df/36dfa43b933977a156c339952a19d18a.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/f7/f6/f7f6f90378a37c99e1ae4276c0aa1ae6.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/04/b8/04b8842e992ac3e0238d6288ea9c02c1.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/f0/a1/f0a1d2bc4cf81e7a5d43b1db1c031d65.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/e6/98/e698f5c8bd302ad40df62db0f7bada40.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/32/30/32307504ac798648bfeab2fec4f4a7d7.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/9f/88/9f88ed98b70c5672278d354dcf2369ff.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/f3/65/f3656fed44abafb029756069e1382710.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/22/b1/22b163165d8d56fc32b4f5e7ef9f83c6.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/74/50/7450435eb9422e5e310ab6458cfa2027.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/b6/68/b668bbd3e0297c3ceab669e947b2ad53.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/f1/3b/f13b3be997df7d886a98a31a67bfb7ba.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/db/d4/dbd47c443f6d34a062488e19cbc6b68b.jpg
sentry5.6.1.min.js:2 https://p3fx.kgimg.com/mvpic/80/5d/805d8eafe872fa45a6235b853f41171a.jpg
// 创建一个新的空数组
var data = []
// 遍历并赋值 同时添加到新数组内
for(var dom of dd){
    var tex = (dom.querySelector('span').innerText)
    var imga = (dom.querySelector('img').src)
data.push({tex,imga})
}
// 返回结果
(20) [{…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}, {…}]
0: {tex: "多亮 - 剑震江湖", imga: "https://p3fx.kgimg.com/mvpic/e4/52/e452cec897f538c33175898ad2defee9.jpg"}
1: {tex: "江映蓉 - 依然", imga: "https://p3fx.kgimg.com/mvpic/f8/32/f832fa2620302e56c3b5b1eaf7c36465.jpg"}
2: {tex: "Sunnee杨芸晴 - 乘风破浪", imga: "https://p3fx.kgimg.com/mvpic/27/9b/279bb84ef43c4fdd4efa5130da9b87c8.jpg"}
3: {tex: "周深 - 归处", imga: "https://p3fx.kgimg.com/mvpic/c8/e1/c8e1a89390563d657bd1517c4a28045c.jpg"}
4: {tex: "Billie Eilish、ROSALÍA - Lo Vas A Olvidar", imga: "https://p3fx.kgimg.com/mvpic/9b/94/9b94490b6b552caeedd7d223dc1f5eb3.jpg"}
5: {tex: "By2 - 大红包", imga: "https://p3fx.kgimg.com/mvpic/77/38/77385df8c26694b00b05a0a8de4f1658.jpg"}
6: {tex: "萨顶顶 - 海底", imga: "https://p3fx.kgimg.com/mvpic/36/df/36dfa43b933977a156c339952a19d18a.jpg"}
7: {tex: "Ty.、AnsrJ、Dj Chronic - 新西部爱情", imga: "https://p3fx.kgimg.com/mvpic/f7/f6/f7f6f90378a37c99e1ae4276c0aa1ae6.jpg"}
8: {tex: "刘若英 - 黄金年代", imga: "https://p3fx.kgimg.com/mvpic/04/b8/04b8842e992ac3e0238d6288ea9c02c1.jpg"}
9: {tex: "张杰 - 像一道光", imga: "https://p3fx.kgimg.com/mvpic/f0/a1/f0a1d2bc4cf81e7a5d43b1db1c031d65.jpg"}
10: {tex: "吴琼 - 醉清欢", imga: "https://p3fx.kgimg.com/mvpic/e6/98/e698f5c8bd302ad40df62db0f7bada40.jpg"}
11: {tex: "毛阿敏 - 迷雾之光", imga: "https://p3fx.kgimg.com/mvpic/32/30/32307504ac798648bfeab2fec4f4a7d7.jpg"}
12: {tex: "胡夏 - 无人知晓的梦", imga: "https://p3fx.kgimg.com/mvpic/9f/88/9f88ed98b70c5672278d354dcf2369ff.jpg"}
13: {tex: "赵慧仙(선재) - I’m Missing You", imga: "https://p3fx.kgimg.com/mvpic/f3/65/f3656fed44abafb029756069e1382710.jpg"}
14: {tex: "邓典果DDG、Sway X - Shake", imga: "https://p3fx.kgimg.com/mvpic/22/b1/22b163165d8d56fc32b4f5e7ef9f83c6.jpg"}
15: {tex: "请夏 - X", imga: "https://p3fx.kgimg.com/mvpic/74/50/7450435eb9422e5e310ab6458cfa2027.jpg"}
16: {tex: "满舒克 - LOOK FOR ME", imga: "https://p3fx.kgimg.com/mvpic/b6/68/b668bbd3e0297c3ceab669e947b2ad53.jpg"}
17: {tex: "AKA宝藏潮牛、侯志斌、宋文洋、飞鸟 - 恭喜恭喜", imga: "https://p3fx.kgimg.com/mvpic/f1/3b/f13b3be997df7d886a98a31a67bfb7ba.jpg"}
18: {tex: "告五人 - 唯一", imga: "https://p3fx.kgimg.com/mvpic/db/d4/dbd47c443f6d34a062488e19cbc6b68b.jpg"}
19: {tex: "白安 - 白色", imga: "https://p3fx.kgimg.com/mvpic/80/5d/805d8eafe872fa45a6235b853f41171a.jpg"}
// 将data数组转为json字符串
JSON.stringify(data)
// 返回结果
// "[{"tex":"多亮 - 剑震江湖","imga":"https://p3fx.kgimg.com/mvpic/e4/52/e452cec897f538c33175898ad2defee9.jpg"},{"tex":"江映蓉 - 依然","imga":"https://p3fx.kgimg.com/mvpic/f8/32/f832fa2620302e56c3b5b1eaf7c36465.jpg"},{"tex":"Sunnee杨芸晴 - 乘风破浪","imga":"https://p3fx.kgimg.com/mvpic/27/9b/279bb84ef43c4fdd4efa5130da9b87c8.jpg"},{"tex":"周深 - 归处","imga":"https://p3fx.kgimg.com/mvpic/c8/e1/c8e1a89390563d657bd1517c4a28045c.jpg"},{"tex":"Billie Eilish、ROSALÍA - Lo Vas A Olvidar","imga":"https://p3fx.kgimg.com/mvpic/9b/94/9b94490b6b552caeedd7d223dc1f5eb3.jpg"},{"tex":"By2 - 大红包","imga":"https://p3fx.kgimg.com/mvpic/77/38/77385df8c26694b00b05a0a8de4f1658.jpg"},{"tex":"萨顶顶 - 海底","imga":"https://p3fx.kgimg.com/mvpic/36/df/36dfa43b933977a156c339952a19d18a.jpg"},{"tex":"Ty.、AnsrJ、Dj Chronic - 新西部爱情","imga":"https://p3fx.kgimg.com/mvpic/f7/f6/f7f6f90378a37c99e1ae4276c0aa1ae6.jpg"},{"tex":"刘若英 - 黄金年代","imga":"https://p3fx.kgimg.com/mvpic/04/b8/04b8842e992ac3e0238d6288ea9c02c1.jpg"},{"tex":"张杰 - 像一道光","imga":"https://p3fx.kgimg.com/mvpic/f0/a1/f0a1d2bc4cf81e7a5d43b1db1c031d65.jpg"},{"tex":"吴琼 - 醉清欢","imga":"https://p3fx.kgimg.com/mvpic/e6/98/e698f5c8bd302ad40df62db0f7bada40.jpg"},{"tex":"毛阿敏 - 迷雾之光","imga":"https://p3fx.kgimg.com/mvpic/32/30/32307504ac798648bfeab2fec4f4a7d7.jpg"},{"tex":"胡夏 - 无人知晓的梦","imga":"https://p3fx.kgimg.com/mvpic/9f/88/9f88ed98b70c5672278d354dcf2369ff.jpg"},{"tex":"赵慧仙(선재) - I’m Missing You","imga":"https://p3fx.kgimg.com/mvpic/f3/65/f3656fed44abafb029756069e1382710.jpg"},{"tex":"邓典果DDG、Sway X - Shake","imga":"https://p3fx.kgimg.com/mvpic/22/b1/22b163165d8d56fc32b4f5e7ef9f83c6.jpg"},{"tex":"请夏 - X","imga":"https://p3fx.kgimg.com/mvpic/74/50/7450435eb9422e5e310ab6458cfa2027.jpg"},{"tex":"满舒克 - LOOK FOR ME","imga":"https://p3fx.kgimg.com/mvpic/b6/68/b668bbd3e0297c3ceab669e947b2ad53.jpg"},{"tex":"AKA宝藏潮牛、侯志斌、宋文洋、飞鸟 - 恭喜恭喜","imga":"https://p3fx.kgimg.com/mvpic/f1/3b/f13b3be997df7d886a98a31a67bfb7ba.jpg"},{"tex":"告五人 - 唯一","imga":"https://p3fx.kgimg.com/mvpic/db/d4/dbd47c443f6d34a062488e19cbc6b68b.jpg"},{"tex":"白安 - 白色","imga":"https://p3fx.kgimg.com/mvpic/80/5d/805d8eafe872fa45a6235b853f41171a.jpg"}]"
// JSON字符串复制，去掉引号就可以使用
尤山海
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
网页爬虫，网页抓取，js加载后网页抓取，超简单。
01-02
超级简单网页抓取源码，js加载完成抓取源码，抓取动态加载页面的源码。适合初学者，很简单。看懂很容易。页面加载完成抓取源码 适合新手，赚点资源分但是内容绝对有效简单明了。
js 抓取网页数据
热门推荐
weixin_45784582的博客
11-19 1万+
js抓取网页数据，其实很简单，没那么复杂，需要使用3个函数配合使用： indexOf 返回某个指定的字符串值在字符串中首次出现的位置 lastIndexOf 返回一个指定的字符串值最后出现的位置 substring 提取字符串中介于两个指定下标之间的字符 简单来说就是 获取元素的开始位置、结束位置，如何进行提取，得到结果。 一、获取网页数据 二、封装提取数据的方法 getAlarms(val,later,before){ var alarm=val; //某个指定字符之后
【渗透-信息收集】JSFinder脚本爬取网站js数据的使用
Yuppie001的博客
03-01 678
JSFinder 是一个用于探测网站中 JavaScript 文件的工具，它可以帮助安全研究人员发现网站加载的 JavaScript 文件中包含的网址、子域名、API 端点等信息。这种类型的工具通常用于信息收集阶段，是网络安全和渗透测试领域中的常用工具之一。
JavaScript爬取网页并分析
nbyvy的博客
04-30 8117
JavaScript爬取网页并分析 任务分析 爬取三个网站下的新闻数据，这里选择网易新闻网（https：//news.163.com/）； 提取每条新闻的如下字段：标题，内容，发表日期，网址，关键词，作者，来源，评论等； 将爬取的数据写入数据库； 搭建前后端，实现对爬取数据的查询搜索分析等功能； ！！注：这篇博客只会对关键代码进行解析，完整代码在GitHub 中 代码链接：https://github.com/zgl-ai/a-crawler-about-javascript 爬虫部分 首先是爬取网易新
js操作爬取网页信息
*
04-18 1283
获取元素；隔几秒点休眠函数；点击每一级类目函数 cates_get_js=''' // 四级类目总容器:4个 var cates_container=document.querySelectorAll('.item-group-container-v2') // 0级类目如：家居生活、数码电器共10个 var cate0s=cates_container[0].getElementsByClassName('staple-name') //隔几秒再点 const sleep = (timeout= 10
从零开始学JS爬虫，轻松抓取网页数据！
oGuJing123的博客
05-14 1849
随着互联网的发展，网页已经成为人们获取信息的重要途径之一。而如何高效地获取所需信息，就成为了很多人关注的问题。本文将介绍JS爬虫入门，帮助读者从零开始抓取网页数据。一、概述在介绍JS爬虫之前，我们先来了解一下爬虫的基本概念。简单来说，爬虫就是通过程序自动访问网页并提取有用信息的过程。其中
python爬取淘宝商品详情页数据
12-25
在讲爬取淘宝详情页数据之前，先来介绍一款 Chrome 插件：Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容)，如下图所示： 当这个插件处于关闭状态时，待爬取的页面显示的数据如下: 当这个插件...
利用爬取数据提取省份信息、计算新闻热点、使用预训练模型生成新闻类别，网页使用HTML、CSS、JavaScript
03-03
人工智能-机器学习-数据预处理
爬取当当网实际图书网站数据
12-07
使用scrapy创建爬虫程序、使用BeautifulSoup爬取数据、爬取关联网页数据、使用管道存储数据 本项目涉及一个包含多个网页的图书网站，我们使用scrapy爬取各个网页的数据，实现了爬取图书网站数据的爬虫程序。 ...
Python疫情数据下载，并保存成Excel
12-22
Python疫情数据下载，并保存成Excel import requests import json import os import openpyxl res = requests.get(url) # 模拟浏览器请求 headers = { 'user-agent': 'text/javascript, application/javascript, ...
浅谈如何使用python抓取网页中的动态数据实现
12-17
在编写爬虫进行网页数据抓取的时候，经常会遇到这种需要动态加载数据的HTML网页，如果还是直接从网页上抓取那么将无法获得任何数据。 今天，我们就在这里简单聊一聊如何用python来抓取页面中的JS动态加载的数据。 给...
手把手教你用Node.js爬虫爬取网站数据的方法
10-18
主要介绍了手把手教你用Node.js爬虫爬取网站数据，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
nodejs爬虫抓取页面内容
09-29
nodejs爬虫抓取页面内容，简单好用
JS脚本抓取数据分析示例
12-31
如题，这是针对 2013 年 引进图书的结果分析; 欢迎自己定义和抽取.
网络抓扒手 抓取别人网站的数据（源码 实例）
12-02
网络抓扒手 抓取别人网站的数据（源码 实例）
利用Node.js爬取简单页面数据
xiecheng1995的博客
05-19 1919
当某些网站限制打开控制台爬取页面内容时，可以通过node向服务器发送请求，爬取我们想要得到的页面文件内容。 爬取简单页面内容 这里以百度为例： 项目目录中生成package.json cnpm init -y 项目目录下安装requests包 cnpm i requests --save-dev 爬取页面内容主文件(index.js)： let requests = require('requests') // 请求包 let fs =require('fs') // 读写文件 let pa
JavaScript 炫酷第一步 抓取别人网站数据
丿灬安之若死
02-01 3723
//访问这个网站 并打开控制台 https://en.wikipedia.org/wiki/Category:Boulevards_in_Paris 审查元素后我们发现 他的selector对应 '#mw-pages > div' 所以第一行代码有了 const category = document.querySelector('#mw-pages > div'); 根据分析得来 我们要拿a标签的数据 第二行代码有了 const allALink = cat..
使用javascript抓取网站数据
404
10-15 7384
1、最近接到一个小项目，从一个完整
javascript/js 获取当前页面地址栏数据
qhh893795936的博客
09-01 333
废话不多说直接上代码 var urlInfo = window.location.href; //获取当前页面的url          var intLen = urlInfo.length; //获取url的长度          var offset = urlInfo.indexOf("?"); //设置参数字符串开始的位置          var strKeyValue = u
爬取爬取网页数据教程
最新发布
03-20
当涉及到爬取网页数据时，有几种常见的方法和工具可以使用。以下是一个简单的教程，介绍了一种常见的爬取网页数据的方法： 1. 选择合适的编程语言：爬取网页数据通常需要使用编程语言来编写代码。常见的选择包括Python、Java和JavaScript等。其中，Python是最受欢迎的语言之一，因为它有许多强大的库和框架可以用于爬虫开发。 2. 安装必要的库和工具：对于Python来说，你可以使用一些流行的库来进行网页数据爬取，例如Requests、BeautifulSoup和Scrapy等。你可以使用pip命令来安装这些库。 3. 发送HTTP请求：使用HTTP请求库（如Requests）发送HTTP请求到目标网页。你可以发送GET请求获取网页内容，或者发送POST请求提交表单数据。 4. 解析网页内容：使用HTML解析库（如BeautifulSoup）解析网页内容。这样你就可以提取出你感兴趣的数据，例如标题、链接、文本等。 5. 存储数据：将提取到的数据存储到合适的地方，例如数据库、CSV文件或者Excel表格中。 6. 处理反爬机制：有些网站可能会采取反爬机制，例如限制访问频率、验证码等。你可能需要使用代理IP、用户代理、验证码识别等技术来绕过这些限制。 7. 遵守法律和道德规范：在进行网页数据爬取时，务必遵守相关的法律和道德规范。尊重网站的隐私政策和使用条款，并确保你的爬虫行为不会对网站造成过大的负担。 希望以上教程对你有所帮助！如果你有任何进一步的问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

尤山海

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值