scrapy 调试中的大坑啊，crome和火狐都会自加tbody标签

最新推荐文章于 2022-12-13 11:40:05 发布
最新推荐文章于 2022-12-13 11:40:05 发布
阅读量832 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/syh_486_007/article/details/62040314
版权

近期做scrapy，进行xpath 匹配的时候总是出现结果为空，查后发现，都是html结果自加tbody 标签。

在拷贝出来的xpath中，将tbody标签去掉：


例如拷贝出来的xpath是：//*[@id="TableWithRules"]/tbody/tr[2]/td/a

应该本身的xpath是：//*[@id="TableWithRules"]/tr[2]/td/a


二进制程序猿
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
scrapy实战二
物我相依，物我相望
01-15 1833
背景 运营需求是需要爬取好大夫的数据，爬取路径如下： 第一级：抓取所有科室： 第二级：每个科室对应的好评科室 第三级：科室推荐专家第四级：推荐专家 第五级：专家信息 总结一下，就是最后要抓取的数据有： 科室 子科室 医院 科室介绍 专家 专家头像 职位 擅长 专家介绍 需求分析确定爬取路径： 1、首先抓取http://www.haodf.com/keshi
HTML DOM table标签(对象)中的tbody、thead、tfoot自动生成的小经验
alruvvq10942的博客
05-27 656
一个<table>对象中， 1.当里面即使不写有<tbody>标签，但含有一个或以上个<tr>标签(或<tr></tr>或<td>或<td></td>或<th>或<th></th>)时， 　　<table>对象会默认有一层<tbo...
scrapy关于tbody标签的问题
ˉ-_lishk_-ˉ
04-07 5732
爬取网页时，当爬取 表格(table) 的内容时，发现用 xpath checker 获取正常，程序却解析不到。 原因是：浏览器会在table标签下添加tbody（注：在chrome、火狐测试都有这个情况。出现这种原因是因为浏览器会对html文本进行一定的规范化 ） 如下所示：分别在【网页源代码】和【审查元素】查看，会发现 【审查元素】中多了 tbody 标签。 解决方法：使用s
Scrapy匹配xpath时tbody标签的问题
春华秋实
05-06 2828
问题描述 今天学习Scrapy的使用，在用xpath匹配元素的时候，发现老是出错，后来发现是标签上有文章。 问题分析 我使用Chrome的元素审查和查看网页源代码对网页进行分析，得出xpath，但是Chrome会对网页源码进行加工，在标签中，如果源码中没有写标签，在元素审查和查看网页源代码中还是会将强行添加上。 当然，若源代码中没有，而我们信任Chrome而把它添进xpath的话，是不会匹
为什么HTML5添加不了浏览器,为什么浏览器仍然在HTML5中注入<tbody>？
weixin_31957989的博客
06-09 129
之所以如此，是因为HTML5将HTML 4和XHTML 1.x的后继者合并为一个规范。当引入XHTML 1.0并且浏览器开始尝试使用XML解析器时，它们遇到了问题。作者习惯于编写不带s的。由于不允许XML解析器像HTML解析器那样推断标签，因此帮助作者过渡到XHTML的最佳方法(当时似乎是个好主意)是通过允许s 使表正确呈现。DOM内部的直接子代。(无论DOM是源自HTML解析还是XML解析，DO...
Scrapy中使用Selenium+Firefox浏览器爬取沪深A股股票行情
12-22
目前很多股票网站的行情信息都是动态数据，我们可以用Scrapy+selenium对股票进行实时采集并持久化，再进行数据分析、邮件通知等操作。 1.安装依赖包 - python 3.0+ - pip install -r requirements.txt 2.将最第二...
Scrapy中使用Selenium+Firefox浏览器爬取国债逆回购并发送QQ邮件通知
最新发布
12-25
3.将firefox驱动程序包放到python环境的Scripts文件夹里 4.必须要安装firefox浏览器才会调用到浏览器 5.pipelines.py的send_email方法里修改为自己的邮箱和token 6.执行spider_main.py文件启动爬虫 每到年底国债...
pycharm下打开、执行并调试scrapy爬虫程序的方法
09-21
为了能够在 PyCharm 中顺利地执行和调试 Scrapy 爬虫程序，首先需要确保你已经拥有一个 Scrapy 项目。假设你已经在桌面创建了一个名为 `test1` 的 Scrapy 项目。 1. **命令行创建 Scrapy 项目**： - 打开命令行...
scrapy1.5中文文档
03-23
scrapy1.5中文文档，自己翻译，github账号：https://github.com/v5yangzai/scrapy1.5-chinese-document
python scrapy爬虫+存储到mysql和mongo数据库中
12-08
Python Scrapy是一个强大的爬虫框架，它为网络爬虫提供了高效和灵活的解决方案。Scrapy设计用于快速地爬取大量网页，并且结构清晰，便于扩展，使得开发者可以专注于编写爬取逻辑，而不是处理网络请求、解析HTML等...
火狐firefox插件配合scrapy，注意tbody会导致empty
weixin_30393907的博客
01-16 66
有2个常有插件，一个是xpath checker，一个是firepath（配合firebug） xpath checker是个好东西，不仅可以分析，还可以验证自己抽取的xpath是否正确 但xpath checker 是遵从xpath2.0 , 而scrapy则是遵循xpath1.0，因此会出现不兼容的情况。 使用过程中我就遇到了xpath checker中正常获取但是在scrapy程序中无...
TBODY在firefox下用js显示和隐藏时出现错位的解决方法
管子（zero）的杂乱空间
12-16 1553
<!--google_ad_client = "pub-4490194096475053";/* 内容页,300x250,第一屏 */google_ad_slot = "3685991503";google_ad_width = 300;google_ad_height = 250;// -->今天帮别人写一个网页，发现：当用javascript动态设置tr
动态生成表格 创建以及删除节点
TheShycc的博客
07-13 320
//1:准备数据 var dates = [ { name:'千机', subject:'语文', score:100 }, { name:'祁珞', subject:'语文', score:100 }, { name:'思婵', subject:'数学', score:0 } ]; 1：准备数据。 数组里可以存放很...
【Python技巧】爬虫网站，lxml中的etree不能定位到信息内容，原因是chrome阅览器自动添加tbody标签
weixin_49340599的博客
12-13 1015
当我在爬虫某报刊列表名称的时候发现，lxml中的etree解析response.text，得到的结果是一个空列表，具体问题如下：首先通过chrome定位要爬取列表位置： 根据上图，我们可知，xpath为：根据xpath位置制作python代码： 最终得不到任何结果，返回一个空字符串，反复监察chrome阅览器中定位没有问题，于是我分析获取的html，发现chrome显示的和服务器返回的html是不同的。服务器返回的html中，没有tbody这一类，但咱们用xpath判断位置的时候添加了这一类。 二、原
关于浏览器自动加上<pre>标签
dawuafang
12-28 608
问题场景： 我在 A 页面点击了一个请求，新开一个页面(B)，在后端 通过HttpServletResponse.getWriter().write(html) 的方式，将信息写入到 新开的页面 B 里面;【题外话：这样做的原因是为了解决新开页面被浏览器拦截的问题】 但是在 IE6,7,8 ，ff 都没有问题；但是在chrome 里面，竟然在我新写的内容放在了&lt;pre&gt;标签中； ...
Scrapy定向爬虫教程(二)——提取网页内容
热门推荐
孔天逸'Blog
10-13 1万+
本节内容在这一小结，我将介绍如何使用Scrapy通过Selector选择器从网页中提取出我们想要的内容，并将这些内容存放到本地文件。 我们的目标网页是http://www.heartsong.top/forum.php?mod=viewthread&tid=8,一个有七层楼的帖子。我们要获取到每一层楼的下列信息： * 所属主题帖的标题 * 所属主题帖的url * 这一楼层的作者 * 这一楼
页面中有<tbody>标签，自以为是更好的规范<table>标签的
路在脚下
05-12 1221
每个表格可以有一个表头、一个表尾和一个或多个表体，分别以THEAD、TFOOT和TBODY元素表示。 用TBODY这个标签可以控制表格分行下载，当表格内容很大时比较实用，在需要分行下载处（基于用户心理吧）加上和，比如：          表体1       表体1             表体2       表体2
Python爬虫——从浏览器复制的Xpath无法解析（tbody）
zy010101博客
04-20 3733
今天遇到一个问题，我的爬虫想抓取一个网页上的有些内容，使用Xpath解析的方式。前几个内容都可以被Xpath解析，但是最后一个标签内的内容始终解析不到，困扰了我一上午。最后我一步一步尝试解决了。但是我并不知道是为什么？这个场景就是程序已经执行起来了，但是你完全不知道它为什么能正常运行。下图可以完美描述。 下面这个视频更加生动：https://www.bilibili.com/video/av370044900/，建议反复观看。 后来，经过我返回斟酌关键字，进行搜索，看到前辈们的经验，发现原来是浏览器
Scrapy 0.24中文官方文档：爬虫框架入门与数据提取
Scrapy0.24官方文档是一份详细的中文PDF资料，专为Scrapy用户设计，特别是对于那些想要利用Scrapy进行网页抓取和数据提取的开发者。Scrapy是一个强大的Python框架，主要用于高效地爬取网站数据，特别适用于没有提供...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值