Requests获取HTML文本和网页原文不一样

ljccjl393

于 2023-06-07 19:35:59 发布

阅读量776

点赞数

文章标签：网络爬虫

本文链接：https://blog.csdn.net/weixin_56178442/article/details/131094481

版权

尝试爬虫大众点评时，Requests爬下来的html文本和原网页中的文本不一样。如下图在星级处，原网页是一个class为“star wrapper”的标签。

而Requests抓取到的是下图这样

请求头cookie和user-agent都有加，应该不是原因。

可能是大众点评的反爬虫处理，问题目前暂时没能解决。

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

ljccjl393

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

python爬虫 requests.get()返回值与html网页不一致

fqfq123456的专栏

12-30

3857

写爬虫时，需要的html和用requests.get返回的html不一样导致后面用bs老出错。requests.get()获取不到正确的源代码HTML。这个库，没看出来为什么，有的网页可以，有的却是错的。

【Python自学笔记】新手必备！Python爬虫一个requests_html模块足矣（简单项目）！（详解requests_html&案例代码）

XiaoqiangClub的博客

05-29

906

文章目录初识requests_html模块使用requests_html安装基本使用发送请求解析响应获获取元素快速获取链接获取元素使用xpath使用css选择器HTML类初识requests_html模块感觉只要学过Python爬虫的同学应该都知道requests这个库吧，它在我们的Python爬虫任务中应该是最常用的一个库了！今天跟大家分享的这个模块requests_html，他的作者和前者是同一人！这是一个解析HTML的库，用起来和requests一样方便，下面就来介绍一下它！使用reque

2 条评论您还未登录，请先登录后发表或查看评论

爬虫时用requests解析到的内容与原网页内容不一致，实测有效！！！

weixin_44845650的博客

08-29

1万+

在爬取数据时，遇到用requests解析到的内容与原网页内容不一致，且状态都为200. 原网址内容如下：用requests解析到的内容如下：两者不一致，经过查询资料，得到解决方案如下：加一个headers即可那么headers中参数找法如下：检查要爬取网页，找到headers一栏，对应找取相应信息最终结果如下：大功告成！！！ ...

使用requests.get()得到的源代码与浏览器中的不一样

weixin_40822925的博客

06-26

1万+

最近在入门爬虫，遇到了一个问题，就是我用requests.get()之后得到的源代码跟浏览器里面的不一样（爬的是百度搜索“美女”之后的网页），今天看了崔庆才的《python3网络爬虫开发实战》在2.3.3节找到了答案：我们用urllib或requests获取到的是HTML源代码，但是这个网页是用js渲染的，上面两个库不会像浏览器那样继续运行后面请求来的js模块，所以不一样。还有一个问题，就是我用Beautiful Soup的find_all()方法找不到的标签，用正则表达式找到了，可能也跟上面有关？还需要

python 爬虫：requests抓取的页面信息和浏览器中看到的不一样

sxf_123456的博客

01-07

1万+

网址:https://www.rmfysszc.gov.cn/statichtml/rm_obj/108362.shtml 用请求出的网页解析为 <div id="time1" style="width:100%; height:60px; text-indent:30px; font-size:14px; line-height:60px;color:#2f2f2f;font...

爬取的html和网页不一样原因,网页爬虫 - 【如图】python爬取的html页面和浏览器显示源码的结果不同...

weixin_35607083的博客

06-22

3834

伊谢尔伦2017-04-18 09:33:414楼经过实测，结论是 bs4 改变了属性的顺序。1、在浏览器中右键点击页面，选：审查元素查看网页源码2、在 python3 程序中对比：import reptn_tr = re.compile(r']+>')import requests as reqrsp=req.get('http://www.pythonscraping.com/pages...

scrapy通过Request返回的页面数据与浏览器查看到的页面数据不一致

weixin_37997371的博客

09-07

6367

1.URL的地址可以反映请求用户所在的区域，区域不同返回的数据也不同例如：http://www.xxxx/en/xxx 和 http://www.xxxx/cn/xxx 就可以看出不同 2.请求用户的IP地址所在的区域，如果使用代理，则返回的数据也可能不同。 3.请求头的设置不同，例如：user-agent,accept-language不同也会导致返回的数据不同。 scrapy有自己...

requests-html快速入门

乐百川

07-15

3万+

Python上有一个非常著名的HTTP库——requests，相比大家都听说过，用过的人都说好！现在requests库的作者又发布了一个新库，叫做requests-html，看名字也能猜出来，这是一个解析HTML的库，而且用起来和requests一样爽，下面就来介绍一下它。安装安装requests-html非常简单，一行命令即可做到。需要注意一点就是，requests-html只支持P...

[Python从零到壹] 七.网络爬虫之Requests爬取作者个人博客网站及CSV存储

杨秀璋的专栏

02-25

1万+

前一篇文章讲述了 BeautifulSoup 爬取豆瓣TOP250电影，通过案例的方式让大家熟悉Python网络爬虫。这篇文章将详细讲解Requests库爬取个人博客信息，并存储至CSV文件。该案例非常适合入门的案例，也能普及简单的预处理知识。希望对您有所帮助，本文参考了作者CSDN的文章和学生杨友的博客，从学生的角度实现网络爬虫，可能对读者更友好。

python jieba 文本相似度_使用jieba和gensim模块判断文本相似度

weixin_39616565的博客

12-17

680

本文重新整理的更详细规范的介绍见这里判断文本的相似度在很多地方很有用，比如在爬虫中判断多篇已爬取的文章是否相似，只对不同文章进一步处理可以大大提高效率。在Python中，可以使用gensim模块来判断长篇文章的相似度。点这里进官网官方的文档部分内容实在太含糊了，网上也找不到很有用的文章，所以我现在写下来记录一下自己的踩坑史。实际中我用的是数据库抽取的批量文章，所以就不放上来了，只讲代码本身使用。假...

【前端】HTML详细教程（下篇）

热门推荐

孤寒者的博客

10-24

6万+

❤️HTML必备知识详解❤️☀️第三部分：特殊符号❄️（1）什么是特殊符号？????（2）为什么需要特殊符号？☔️第四部分：表格⛄️（1）什么是表格?????（2）表格如今用来干啥？????（3）表格初识????实现效果：☁️第五部分：表单（很重要哦！！！)⚡️1.是什么&什么作用&哪些应用????（1）表单是什么？????（2）表单的作用？????（3）表单的应用？????2.表单(form)的属性：????3.表单常用的标签：????(1）input标签：????1.input标

解决方案--爬虫拿到的HTML和浏览器中的源码不相同

dechaowu的博客

09-07

2万+

以前学习Scrapy框架时遇到过这个问题，但是当时没有整理解决方法，最近一同事问起这个问题后又花了不少时间才解决，所以我觉得有必要整理一下这个问题。之所以Scrapy下载的HTML和浏览器中呈现的HTML不一样是由于网页中的一些页面是由JS触发的，所以我们只要模拟浏览器的JS触发时间就可以解决该问题，现在最常用的是使用Selenium解决此问题。 Selenium 　　作

爬取的html和网页不一样,已经登录成功之后该怎么提取这个cookie再爬取网页？以及为什么html2不是登录之后的界面呢，而是Jumpurl？...

weixin_39614094的博客

07-05

215

同学你好。1.>>> import cookielib>>> importurllib>>> importurllib2>>>>>> c = cookielib.LWPCookieJar() #python获取cookies>>> opener = urllib2.build_opene...

抓取的html和源代码不一样,抓取其他页面的HTML，非源码

weixin_39828859的博客

05-31

231

后台代码如下：string url = "http://baoliao.cq.qq.com/pc/detail.html?id=443758s";HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);request.Accept = "*/*"; //接受任意文件request.UserAgent = "Mozilla/4....

win10 爬虫：解决爬取的html与源文件显示不一致问题

xiaoxiaojie521的博客

12-22

4154

在进行爬虫时，有时我们爬取的html和源文件所显示的不一样，此时我们需要使用selenium库来进行爬取。本文将详细介绍如何解决这个问题。准备工作 1. 安装ChromeDriver step1：首先需要保证谷歌浏览器已经安装好并可以上网。在帮助->关于谷歌中查看版本。 step2：然后需要点击下载ChromeDriver，找到对应谷歌版本进行下载。 step3：然后将下载好的文件中的 chromedriver.exe 文件直接放到Adaconda3/Scripts中（注意：该路径需要在环境变量

审查元素html不能展开,爬取页面和审查元素获取的内容不一致

weixin_30947859的博客

05-31

922

今天看书看到图片爬虫实战之爬取京东手机图片这一节，想着自己动手练习一下，因为以前看过视频所以思路还是比较清晰，主要是为了复习巩固刚刚学的正则表达式。打开京东手机页面，https://list.jd.com/list.html?cat=9987,653,655&page=1&sort=sort_rank_asc&trans=1&JL=6_0_0#J_main审查元...

完整html网页代码_一步步教你打造文章爬虫(2)下载网页

weixin_39637457的博客

12-05

921

今天一起来学习把网页版文章下载到本地电脑上。前面讲过，请求网页的流程是浏览器先向服务器请求html，服务器返回html，浏览器分析这个html，发现html中还需要一堆的js,css,图片，然后浏览器再去下载这些文件，最终组装成一个完整的html页面。所以，第一步，要把这个html下载下来。是时候请出大家期待已久的python了，我在讲解的过程中只列出核心代码，完整代码会列在文章最后，所...

用requests和xpath写一个爬虫程序爬取网页文本