scrapy关于tbody标签的问题

最新推荐文章于 2022-05-23 11:10:40 发布
最新推荐文章于 2022-05-23 11:10:40 发布
阅读量2.9k 收藏 3
点赞数
文章标签： scrapy 爬虫 python table
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keenshinsword/article/details/79258148
版权

今天在爬取网页时，当爬取表格(table) 的内容时，发现用 xpath helper 获取正常，程序却解析不到。

原因是：浏览器会在table标签下添加tbody

在chrome、火狐测试都有这个情况。出现这种原因是因为浏览器会对html文本进行一定的规范化

下图这个是xpath heper 获取的
xpath helper

下图是源码查看到的
这里写图片描述

对比发现，审查元素中多了tbody标签

解决方法：
使用scrapy时将分析出的xpath中的tbody去掉

三丁目の夕阳下的白菜
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
爬虫日记(12)：scrapy提取数据的技巧
大坡3D软件开发
03-11 467
在爬虫的开发中，常常碰到不同的网站，从而每个网站的结构会不一样，每个网站使用的技术也不一样，千差万别的，没有统一的模式，因此开发爬虫没有一个虫就可以爬遍天下。面对这样的情况，当然就是需要开发爬虫的技术人员了，也可以这样说，要想数据有多少，就得有多少人工。因为爬虫总会随着网站技术变更，需要不断更换爬虫的方法，其实除了登录验证这个环节之外，就是剩下了数据的提取工作量了。比如网站更换了标签的名称，导致提取数据失败，这时就需要立即更换提取方法。所以掌握提取数据的技术就成为爬虫开发人员的基础知识了，也是最常使用的技术
Scrapy 2.6 Link Extractors 链接提取器使用方法
热门推荐
Mr数据杨
02-01 3万+
在现代网络爬虫开发中，链接提取是关键的一环。Scrapy 作为一个强大的 Python 爬虫框架，提供了丰富的工具和功能来帮助开发者高效地从网页中提取和处理链接信息。本文将详细介绍 Scrapy 2.6 中的链接提取器（Link Extractors）及其使用方法，重点讲解如何通过实例化和配置这些提取器，来实现对网页链接的精确抓取与处理。链接提取器提供了多种参数和方法，可以根据不同需求进行配置，以满足复杂的网页抓取需求。通过掌握这些参数的使用方法，开发者可以更灵活地定制爬虫的行为，提高爬取效率。
爬虫东方财富网（tbody）
qq_52354050的博客
10-19 603
导入这四个包，以方便后续爬虫操作。 定义一个函数，url是东方财富网第一支股票资金流向的链接。 下载我们所爬取的页面。 可以查看是否下载成功，如果没有报错，则证明下载成功，会显示如下页面： 这一步的主要操作是：定义一个函数将我们所需要的变量爬取出来，再见其存入一个变量datas,最后返回datas，可以查看我们所需的数据，我们这变量是网页名及其对应的网址。 将其打印出来看是否调取成功。 将所有的网页中所需要的变量都存入all_datas，访问all_datas...
python xpath 解析html--<table>下<tb>、<ul>下<li>
pcy1127918的博客
04-18 7275
用xpath来解析一般标签都很简单，因为大多数到可以找到class或者是id等属性，确定一类情况。但是&lt;table&gt;下有多个&lt;tb&gt;，&lt;ul&gt;下有多个&lt;li&gt;，而且还没有属性，类似这种：解决办法：第一种：用etree.HTML()res = etree.HTML(response.txt)table_list = res.xpath('//table...
Python爬虫——从浏览器复制的Xpath无法解析（tbody）
zy010101博客
04-20 3758
今天遇到一个问题，我的爬虫想抓取一个网页上的有些内容，使用Xpath解析的方式。前几个内容都可以被Xpath解析，但是最后一个标签内的内容始终解析不到，困扰了我一上午。最后我一步一步尝试解决了。但是我并不知道是为什么？这个场景就是程序已经执行起来了，但是你完全不知道它为什么能正常运行。下图可以完美描述。 下面这个视频更加生动：https://www.bilibili.com/video/av370044900/，建议反复观看。 后来，经过我返回斟酌关键字，进行搜索，看到前辈们的经验，发现原来是浏览器
爬取网页时遇到tbody标签怎么办？
whitedrogen的博客
04-29 1892
如果你在爬取网页时，确信自己的xpath没错时，看看有没有tbody，解决办法：删了它! 下面举个例子 测试网站是http://www.dsjyj.com.cn/CN/volumn/current.shtml 爬取目标为下图红色圈出部分 右键选择复制XPath /html/body/table/tbody/tr[2]/td/table/tbody/tr/td[2]/table/tbody/tr...
【scrapy爬取不到tbody的问题以及保存数据为json格式】
qq_45957529的博客
05-23 1024
scrapy用xpath爬取不到tbody的问题 这是因为tbody是Firefox和Chrome等浏览器自动添加的标记。 但是当使用Scrapy进行抓取时，tbody不在responseHTML中。 所以我们只要把xpath里的tbody删除即可正常爬取的数据 顺便写点scrapy的经验吧, 进入循环的xpath语句记得前面没有/这些东西, 直接按节点走,例如:第一个for循环是对末尾的div数组进行遍历, 然后第二层循环是对div数组里的div[2]/div/div[]数组进行遍历, 注意xpat
scrapy选择器提取含表格相关标签内容
懒懒的书虫
04-02 1679
在scrapy框架提取网页内容会用到xpath，css选择器来提取我们想要的内容，相关的语法规格官方文档有详细的介绍，但实际应用的时候难免会有一些特殊的捣乱分子的存在，比如有些内容掩藏在层层标签之内，只要一层层的揭开也是很容易的，在这里分享一种和表格标签相关的元素提取。 爬取的网站是一个新西兰高等法院的案件数据，数据量相对很小，最终只有几千条而已，但因为第一次提取表格内的元素，所有走了一些弯路。 ...
关于在python中scrapy模块的scrapy shell中通过xpath无法查询到相应的元素的问题
Ui_none的博客
10-18 812
前言 某天打算使用scrapy shell爬取prts上信息的时候复制了元素的xpath却在scrapy shell中无法查询到相应的结果，得到的结果是一个空列表，如图： 但是在某些网站的某些元素却是可以成功查询到有效的结果，比如说百度网站的“百度一下”按钮 正文 在网上搜索结果后主要有两种观点，第一种是Chrome的复制xpath会自动添加<tbody>标签，即使源码上不存在这个标签，这样自然无法查询到正确有效的结果，但是我爬取的prts的元素恰好有<tbody>标签，所以不是
关于xpath解析网页中tbody问题
StalinCheung的博客
09-05 3359
关于xpath解析网页中tbody问题 在用xpath解析网页的时候，会遇到tbody标签。tbody标签有的时候可以解析，有的时候不可以解析，遇到tbody标签时要看网页源代码，如果源代码有tbody标签，就要加上tbody标签才能解析。 如果源代码没有tbody标签，那么tbody标签是浏览器对html文本进行一定的规范化而强行加上去的，这时如果xpath中有tbody则无法解析出来，此时...
scrapy的xpath无法匹配tbody标签
昆兰.沃斯 的博客
04-18 5101
刚才在使用scrapy的xpath时遇到了一点问题，个人觉得很有意思，也是在无意中发现的，认为是个坑，也是个很有意思的问题，所以这里做个介绍和笔记。问题：使用scapy的xpath在匹配&lt;tbody&gt;位置时无法获取。（使用浏览器自带copy的xpach）我使用的charm浏览器，在检查元素时，直接copy了它的xpath表达式。但是当运行时，却始终没有获取到目的信息。使用它的表达式，你...
xpath抓不到东西之网页结构与检查的不一样和tbody问题
Jayj1997的博客
10-22 1026
我的爬虫学习xpath抓不到东西之网页结构与检查的不一样tbody我怀疑是狗贼前端故意的答案 xpath抓不到东西之网页结构与检查的不一样 今天遇到了个更神奇的操作，xpath找不到东西！我在用scrapy的时候.xpath死活都抓不到东西，而且我的xpath绝对没写错（与检查的一致），我今天就不用正则，老子非要把你用xpath抓出来不行 tbody tbody 在response里没有，这是浏览...
爬虫中非异步数据，xpath定位不到元素--tbody的坑
weixin_45541986的博客
05-26 460
放链接：https://segmentfault.com/a/1190000020745762
爬虫东方财富网（tbody）获取其title和链接
qq_52354050的博客
10-19 638
import requests from bs4 import BeautifulSoup import pprint import json 导入爬虫所需要的包 def download_all_htmls(): htmls=[] for idx in range(1): url=f"http://data.eastmoney.com/zjlx/00000{idx+1}.html" print("craw html:",url) r..
python xpath定位 嵌套标签_[爬虫]xpath无法定位tbody标签（已解决）
weixin_34378815的博客
01-28 2933
2020.7.15更新以前的讲法有点问题，所以再次更新一下，也算是填坑定位不到tbody是因为标准差异，tbody不是必须存在的chrome的Elements标签页的tbody是肯定存在的但是程序员写的网页不一定会有tbody但是在chrome的Elements标签页不管返回的html有没有tbody，chrome都会有(有就不加，没有就自动加上)所以用selenium请求网页数据，就加上tbod...
(20201201- 问题已解决)request爬虫beautifulsoup无法提取tbody
漫步量化
12-05 4558
问题描述 爬虫任务中，所需内容在: <table class="table_search_"> <tbody> <tr>...</tr> <tr>...</tr> <tr>...</tr> 可以定位到table class="table_search_"，但是没有想要的内容。即，无法提取tbody内容。 问题解析 [爬虫]xpath无法定位tbo..
xpath语法 浏览器与代码结果不一致
英明神武洋哥哥
10-12 607
标签table就算没写tbody (源代码)，页面也会自动生成tbody (浏览器正文)。 可以看一下tbody元素。
Python爬虫进阶——Xpath解析数据 并 爬取一个IP池
#的博客
03-31 2687
前言： 老早以前写过一个用python的request包的爬虫文章，那里面我使用正则表达式去对信息进行筛选，今天我们来学习一种更简便的解析数据、筛选信息的方法，利用Xpath，并且了解了基本语法后，我们来爬取一个IP池。 Xpath： XPath，全称 XML Path Language，即 XML 路径语言，它是一门在XML文档中查找信息的语言。XPath 最...
scrapy抓取热门标签下的名人名言经验
最新发布
12-07
Scrapy是一个用于爬取网页数据的Python开发框架。如果我们想要使用Scrapy来抓取热门标签下的名人名言经验，我们可以按照以下步骤进行操作。 首先，我们需要创建一个Scrapy项目。我们可以使用Scrapy命令行工具来创建一个新的项目。在命令行中输入以下命令： ```bash scrapy startproject quotes_crawler ``` 这将会在当前目录下创建一个名为`quotes_crawler`的Scrapy项目。 接下来，我们需要定义一个Spider来告诉Scrapy我们要从哪个网站抓取数据以及数据的结构。在项目的根目录下，我们可以创建一个名为`quotes_spider.py`的文件，并编写以下代码： ```python import scrapy class QuotesSpider(scrapy.Spider): name = 'quotes' start_urls = ['http://www.example.com/tags'] def parse(self, response): # 解析标签页面，提取热门标签下的URL tag_urls = response.css('.hot-tags a::attr(href)').getall() yield from response.follow_all(tag_urls, self.parse_quotes) def parse_quotes(self, response): # 解析名言经验页面，提取名人名言经验 quotes = response.css('.quote-text::text').getall() yield {'quotes': quotes} ``` 在代码中，`quotes` Spider的`start_urls`属性指定了我们想要抓取数据的起始页面URL。`parse`方法用于解析标签页面，提取热门标签下的URL，并调用`parse_quotes`方法处理名言经验页面。在`parse_quotes`方法中，我们可以使用CSS选择器来提取名人的名言经验。最后，我们使用`yield`语句返回抓取到的数据。 最后，我们可以在命令行中运行以下命令来启动爬虫： ```bash scrapy crawl quotes ``` 这将会启动我们之前定义的Spider，并开始抓取热门标签下的名人名言经验。抓取到的数据将会保存在默认的JSON文件中。 使用Scrapy抓取热门标签下的名人名言经验的步骤如上所述。当然，具体的实现还需要根据目标网站的页面结构进行相应的调整。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值