爬虫奇遇记——爬不到想要的内容

最新推荐文章于 2023-04-26 09:45:00 发布
最新推荐文章于 2023-04-26 09:45:00 发布
阅读量2.4k 收藏 1
点赞数 1
分类专栏： 爬虫 Javascript 文章标签： 脚本 网络爬虫 javascript 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kelvinLLL/article/details/56831138
版权
在编写网络爬虫时，遇到动态加载内容是一个常见问题。以站长之家SEO查询为例，尽管网页源码中存在目标数据，但实际抓取到的HTML文件却为空。通过网络监听器追踪JS请求，虽然能定位到相关脚本，但如何从这些脚本中获取动态加载的数据仍然是个待解难题。
摘要由CSDN通过智能技术生成

这一系列将分享在写网络爬虫时遇到的奇葩事

我们在写爬虫时，总是先F12看一下网页的源代码，看到内容后再想策略去抓取想要的内容，这种思路对于文本内容是静态的话是行得通的，但是如果遇到动态加载的内容，就很麻烦了，你会发现你爬下的html文件里根本找不到你想要的内容，这也是网络商应对爬虫的一种策略。

下面举例说明，用站长之家的SEO查询来讲


比如想抓这个中文网站排名的数据，看一下源码：


有，可以爬下来，看看：

最低0.47元/天 解锁文章
kelvinLLL
关注
专栏目录
PHP代码实现爬虫记录——超管用
10-23
在当今的互联网信息时代，网络爬虫技术被广泛应用在数据采集、网站监测、搜索引擎优化等领域。本文将详细介绍如何利用PHP语言来实现一个简单的网络爬虫记录系统，从而追踪和记录访问网站的爬虫行为。 首先，需要...
Python爬虫：为什么你爬取不到网页数据
热门推荐
坚持不懈的大白的博客
08-09 3万+
之前小编写了一篇关于爬虫为什么爬取不到数据文章（文章链接为：https://liuze.blog.csdn.net/article/details/105965562），但是当时小编也是胡乱编写的，其实里面有很多问题的，现在小编重新发布一篇关于爬虫爬取不到数据文章，希望各位读者更加了解爬虫。......
Python爬虫：xpath，cookie都正确仍然无法爬取需要的内容解决方法之一
m0_71242960的博客
12-23 2306
经过很多次尝试以及仔细观察所爬取的html代码内容，我发现有一个标签里含有的css代码：style = display:none ，这行代码可以把这个标签里面的内容隐藏。展开这个标签里面的内容，很可能就是我们所需要的真实的页面a标签里面的url地址。注意，这里说了一般，有些网站的反爬措施很高级，甚至会封掉你的ip。看这篇文章的猿猿们肯定有了一定的python-xpath爬虫基础了，后面对li_tree的处理以及延伸获取所需要的页面内容我在这就不介绍啦！这样我们就得到了正确的li_tree。
HTTP跳转
zlging309的专栏
01-17 758
页面定期刷新，如果加url的，则会重新定向到指定的网页，content后面跟的是时间（单位秒），把这句话加到指定网页的里 一般也用在实时性很强的应用中，需要定期刷新的 如新闻页面，论坛等，不过一般不会用这个，都用新的技术比如ajax等     '经过一段时间转到另外某个页面 content="0;URL="，这里0表示没有延时，直接跳转到后面的URL；把0改成1，则延时1秒后跳
爬虫的基本原理
weixin_43796016的博客
11-30 391
爬虫的基本原理 简单来说：爬虫就是获取网页并提取网页的自动化程序。 1）获取网页 爬虫需要做的首要工作就是获取网页，既网页的有效源代码。 在网页中我们我们能见到最多的就是常规网页，它们对应的就是HTML代码；同时有些网页可能返回的不是HTML代码，而是JSON字符串；另外，我们还可以看到各种二进制数据以及各种CSS、JavaScript和配置文件，这些文件我们都可以通过爬虫抓取下来。 有时候我们在...
【Python成长之路】Boss直聘爬虫第2弹：selenium找不到元素的常见问题
yuzipeng的专栏
03-29 1696
哈喽大家好，我是鹏哥。 今天继续上周的主题是——boss直聘网站的爬虫。 ~~~上课铃~~~ 盗墓笔记·十年人间李常超（Lao乾妈）-盗墓笔记·十年人间 1 写在前面 上一篇文章讲的如何破解boss直聘网站的滑块认证： 【Python成长之路】破解Boss直聘网站滑块验证 这个方法对CSDN、淘宝等网站都是有效的。后来看到有人留言说，为什么不用co...
每日爬虫练习——爬菜谱
12-22
学习编程就想学习骑自行车一样，对新手来说最重要的是持之以恒的练习。 在《汲取地下水》这一章节中看见的一句话：“别担心自己的才华或能力不足。持之以恒地练习，才华便会有所增长”，现在想来，真是如此。 ''' ...
python爬虫概述——深入了解爬虫原理
04-26
爬虫的分类可以根据被爬取网站的数量不同、是否以获取数据为目的、url地址和对应的页面内容是否改变等标准进行分类。 爬虫的流程主要包括获取一个url、向url发送请求、获取响应、提取url或数据等步骤。 HTTP协议是...
【爬虫篇】获取到网页的内容压缩了，读取不到内容，怎么办？解决方法。
weixin_40458518的博客
01-23 916
一、抓取 “douyu” 官网源码 from urllib.request import urlopen res = urlopen('https://www.douyu.com/') html = res.read() print(html) 输出结果，全部都以"\x"开头的beytes数据，表示网页数据已经加密，如下。 <中间内容截图省略了> 二、查看加密方式 打开浏览器的开发者工具或F12键，再刷 douyou 官网网页后，再按照截图中的红色方框找出加密方式。 Respon
小白学python爬虫：1.找到数据
m0_59162248的博客
11-21 1286
1.1网页真实的面目：HTML 对于爬虫来说，着手的首要目标就是找到你想要爬取的数据。那么你在网页上看到的数据到底是以怎样的一个形式存在的呢？或者说，web网页它的本质到底是什么？下面我会为大家详细的介绍。 1.1.1 标签 我的第一个网页 来看看我的第一个网页吧 请将以上代码复制到txt中并保存，再将文档后缀‘txt’更改为‘html’，最后双击打开。 没错，你每天所看
轻松利用Python爬虫爬取你想要的数据
weixin_51002909的博客
09-09 3759
人生苦短，我爱Python
python爬虫原理全解析，手把手教你如何获取想要的数据
最新发布
libaiup的博客
04-26 1558
身处于互联网时代，每当打开浏览器连接https://www.baidu.com/的时候，读者可能都不会思考网络正在做什么；面对形形色色的网页，读者也不会去思考网页是如何呈现在大家面前的。俗话说得好，“知己知彼，方能百战不殆”。本章将通过介绍网络连接来解释爬虫的原理，并使用Chrome浏览器认识网页构造并查询网页信息。本章涉及的主要知识点如下。·网络连接：介绍网络连接的基本过程。·爬虫原理：介绍爬虫的基本原理和过程。
爬虫时如何查找匹配自己想要的信息
qq_46827225的博客
11-05 763
爬取数据时如何对应结构树查找目标内容
爬虫原理（1）
songwenbinasdf的专栏
02-13 1026
网络爬虫是捜索引擎抓取系统的重要组成部分。爬虫的主要目的是将互联网上的网页下载到本地形成一个或联网内容的镜像备份。这篇博客主要对爬虫以及抓取系统进行一个简单的概述。 一、网络爬虫的基本结构及工作流程     一个通用的网络爬虫的框架如图所示：     网络爬虫的基本工作流程如下：     1.首先选取一部分精心挑选的种子URL；     2.将这些URL放入待
python 爬虫 出来的东西不是自己想要的
Satanbab的博客
12-01 369
学习python爬虫，主要利用音乐解析网站，尽心音乐的下载，但是根据B站复现代码之后，出来的数据压根不是想要的那种。 # _*_ conding:uif-8 _*_ # 开发团队：青岛大学未来研究院 # 开发人员： # 开发时间：2020/11/2816:41 # 文件名称：explain # 开发工具： # 文件功能解释： from tkinter import * import requests #界面 #一 添加内容 #1.创建一个窗口 def get_window(): roo...
Python爬虫 | 利用python爬虫获取想要搜索的数据
weixin_72906726的博客
03-30 4548
大家在日常生活中经常需要查找不同的事物的相关信息，今天我们利用python来实现这一个小功能，同时呢，也是大家对基础知识的一个综合实践，相信有不少小伙伴已经准备跃跃欲试了，话不多说，开干！urllib库是Python的标准库，提供了一系列用于操作URL的功能，其大部分功能与requests库类似，也有一些特别的用法。
Python爬虫入门之爬虫解析提取数据的四种方法
xuezhangmen的博客
04-21 1万+
本文主要介绍了Python爬虫入门之爬虫解析提取数据的四种方法，通过具体的内容向大家展现，希望对大家Python爬虫的学习有所帮助。 基础爬虫的固定模式 笔者这里所谈的基础爬虫，指的是不需要处理像异步加载、验证码、代理等高阶爬虫技术的爬虫方法。一般而言，基础爬虫的两大请求库urllib和requests中requests通常为大多数人所钟爱，当然urllib也功能齐全。两大解析库BeautifulSoup因其强大的HTML文档解析功能而备受青睐，另一款解析库lxml在搭配xpath表达式的基础上也效率提高。
爬虫获取不到网页完整源码_你的第一只网络爬虫
weixin_39554891的博客
12-06 5609
“我相信有相当大部分人，学习python最初动机，就是做一个网络爬虫，虽然python的主要强项是数据分析方面(至少我是这样认为的)，但这并不妨碍它成为目前最主流的网络爬虫编写语言。”网络爬虫是什么？——网络上一切看得见的，或看不见的数据，无论是用浏览器还是App或是其他工具打开的，只要是数据，理论上都是通过“数据包”的形式在网络上传播的，爬虫就是用一堆代码，去获取那些数据包，然后把它...
Python学习：Json与Csv数据存储实战——爬虫Day12
在本篇关于爬虫学习的文章中，主要关注的是数据存储技术中的JSON和CSV格式，以及如何在Python中处理这两种常见的数据交换格式。文章从JSON的定义和特点开始讲解，指出JSON是一种轻量级的数据交换格式，相较于XML，其...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值