关于使用PyQuery爬取数据遇到xmlns属性时的解决方法

最新推荐文章于 2020-12-19 06:47:37 发布
最新推荐文章于 2020-12-19 06:47:37 发布
阅读量842 收藏 1
点赞数 1
分类专栏： 爬虫 文章标签： PyQuery 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/z18222043061/article/details/88140621
版权

出现问题

当我爬取数据时，CSS选择器里的a标签不能使用
在这里插入图片描述

调试

这时我发现a标签中有xmlns属性 百度一下发现pyquery默认解析后的文档是xmlns格式，而这种格式就是造成无法获取原生标签的原因在这里插入图片描述

问题解决

设置解析格式为HTML即可

 doc=PyQuery(html,parser="html")

parser属性的作用是设置解析格式

疯中追風
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
用Python解析XML的几种常见方法的介绍
python基础学习教程
02-19 2241
这篇文章主要介绍了用Python解析XML的几种常见方法,包括快速的使用ElementTree模块等方法的实例介绍,需要的朋友可以参考下 一、简介 XML（eXtensible Markup Language）指可扩展标记语言，被设计用来传输和存储数据，已经日趋成为当前许多新生技术的核心，在不同的领域都有着不同的应用。它是web发展到一定阶段的必然产物，既具有SGML的核心特征，又有着HTM...
操作XML文档遇到的XMLNS问题及解决方法 (C# 和 PHP)
12-31
而昨晚在使用 XPATH 的时候, 遇到一个问题, 改了一个晚上才搞定, 差点没吐血. 果然基础知识要掌握扎实啊!! 假设有以下一份 XML 文档: 我们要获取所有歌曲的标题, 一般是使用以下的 XPATH 表达式: 代码如下: /...
pyquery如何解析xml
wujunlei1595848的博客
06-04 772
之前遇到pyquery解析svg文件(xml格式)的时候发现无法获取节点，比如下面这个svg文件： <?xml version="1.0" encoding="UTF-8" standalone="no"?> <!DOCTYPE svg PUBLIC "-//W3C//DTD SVG 1.1//EN" "http://www.w3.org/Graphics/SVG/1.1/D...
python xmlns 解析_使用python读取标记中包含xmlns的XML文件
weixin_39625305的博客
12-19 143
我试图从xml文件中读取一个元素来添加新元素.我试图找到的标签包含xmlns.它看起来像这样：我的python代码如下所示：import xml.etree.ElementTree as xmldef modifyComitLoggingConfigFile(filePath, fileName):path = filePath+"\\"+fileNameIM = xml.Element("log...
XPath提取xml文档数据
日常笔记
04-17 540
读取jdbc配置信息 sys-config.xm xml version="1.0"encoding="UTF-8"?>config>    db-info>       driver-name>oracle.jdbc.driver.OracleDriverdriver-name>       url>jdbc:oracle:thin:@172.15.51.254:1521:ORCLurl>
pyquery无法正确解析xhtml类型网页
景韦的专栏
10-23 896
最近发现使用pyquery解析网页的时候，碰到了无法使用标签获取节点的情况，但使用class却能正常获取节点。 &gt;&gt;&gt; html=''' &lt;html xmlns="http://www.w3.org/1999/xhtml"&gt; &lt;ul class='xx'&gt; &lt;li&gt;a&lt;/li&gt; &lt;li&gt;b&lt;
使用JavaScript脚本无法直接改变Asp.net中Checkbox控件的Enable属性的解决方法
01-19
今天工作中遇到个小问题，情况如下，当我在后台页面中设置Checkbox的Enable的值为false时，我在前端页面中使用脚本(chk.disabled = false)，无法改变disabled的值为false，代码如下：  前台代码： <...
jquery使用each方法遍历json格式数据实例
12-09
本文实例讲述了jquery使用each方法遍历json格式数据的方法。分享给大家供大家参考。具体实现方法如下： <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" ...
深入理解Android中的xmlns:tools属性
08-31
总结来说，`xmlns:tools`属性提供了一种方便的方法来改善开发者的预览体验，避免在正式应用中引入不必要的代码，同时还能帮助管理Lint检查的警告。正确使用`tools:`属性，可以提高开发效率，确保布局在不同环境下的...
python xml 解析库_PyQuery首页、文档和下载 - Python 的 HTML/XML 解析库 - OSCHINA - 中文开源技术交流社区...
weixin_39740419的博客
12-06 53
PyQuery 让你使用 jQuery 的风格来遍历 XML 文档，它使用了 lxml 来处理 XML 乃至 HTML 文档。你可以直接从字符串、URL或者文件中加载文档：>>>frompyqueryimportPyQueryaspq>>>fromlxmlimportetree>>>importurllib>&gt...
Python XML解析
harvey的博客
07-03 1064
xml 是一种扩展标记语言，实际开发中应用也比较广泛，经常用来在服务端与客户端间进行数据传输。下面我们来一起看下 python 中对 xml 的解析 1.python 解析 xml 的三种方式 python中有三种方法解析xml，分别为：SAX、DOM、ElementTree SAX用事件驱动模型，通过在解析XML的过程中触发对应的事件并调用用户定义的回调函数来处理XML文件。SAX是一种基
【Python爬虫】安装 pyQuery 遇到的坑 Could not find function xmlCheckVersion in library libxml2. Is libxml2 ins
会飞的小蜗
12-30 1698
windows 64位操作系统下，用 Python 抓取网页，并用 pyQuery 解析网页 pyQuery是jQuery在python中的实现，能够以jQuery的语法来操作解析HTML文档，十分方便。使用前需要安装，easy_install pyquery即可，或者Ubuntu下 详情参考： http://blog.csdn.net/zhaoyl03/article/details/863...
python解析html xml最好的模块_Python开发包推荐系列之xml、html解析器PyQuery
weixin_39840729的博客
11-29 85
使用python，喜欢她的简洁是一方面，另外就是它有着丰富的开发包 好用又方便 接下来会给大家推荐一系列很赞的开发包。在解析html、xml过程中，我们有不少的包可以用。比如bs、lxml、xmltodict等 如果说你想立即上手，那么pyquery必然是最佳之选。从名字上就可以看出，她一定和jQuery有着一定的关系在官方网站上就是这样描述它的pyquery: a jquery-like lib...
pyquery如何读取xml或html文件不乱码
wujunlei1595848的博客
06-04 538
from pyquery as PyQuery as pq with open(文件路径, "r") as f: str = f.read().encode("utf-8") //设置"utf-8"编码，这一步很重要 p = pq(str)
pyquery根据标签查询元素失败
张欣的博客
09-23 1476
最近在做淘宝美食信息爬取练习的时候，发现用pyquery根据标签不能获取元素。后来发现主要是因为标签里面包含了 xmlns="http://www.w3.org/1999/xhtml"属性，去掉这个属性，或者用标签的其他属性就可以获取到元素信息. 在这里举一个
爬虫入门之结构化数据类型XML的提取（PyQuery）
qq_43706512的博客
09-10 489
PyQuery pyquery相当于jQuery的python实现，可以用于解析HTML网页等。它的语法与jQuery几乎完全相同，对于使用过jQuery的人来说很熟悉，也很好上手。 官方文档是英文的，但也比较容易阅读和理解。有一个中文的教程网站，这里也提供出来。 官方文档：https://pythonhosted.org/pyquery/index.html 中文教程：http://www.ge...
python读取xml文件信息失败_Python 读取xml文件错误：ExpatError: not well-formed
weixin_39559071的博客
12-10 972
createElement参数的第一个字符不能是数字ExpatError: not well-formed (invalid token): line 2, column 1今天在编写xml文件时发现使用minidom写的xml文件没办法读取，提示上面的错误，网上搜索了很久都说跟编码有关，可检查来检查去，编码都是‘utf-8’，没错啊··· 整了好久都不行，于是就一条一条结点的往文件里写，后来...
用python解析xml的几种方法_Python解析XML文件 | 学步园
weixin_39875675的博客
12-09 92
# open the xml fileDom = xml.dom.minidom.parse("test.xml")# get the root elementRootElement = Dom.documentElement# get the element listElementList = self.GetData("FilterSizeList")# get the dataRawResu...
pyquery使用详解
ITjianghuxiaoxiong的专栏
06-15 1167
       最近遇到一个解析html数据得需求，第一个想法做爬虫得肯定有相关得库，因为是基于python开发，所以发现了pyquery这个库。pyquery是基于lxml封装得非常强大灵活得xml和html解析库，api跟jQuery非常类似，对了解jQuery得开发者来说是非常不错得选择。接下就和大家分享一下使用方法（本文基于1.4.0版本编写，如果你是一两年后看到此文，可以参考官网）。官方文...
Android ListView教程：网络数据绑定与使用步骤
"这篇文档主要介绍了Android开发中常用的控件ListView的使用方法，特别是针对网络数据绑定的操作，适合初级开发者学习。文档详细讲解了如何创建并配置ListView，以及设计ListView的子项，并提供了网络数据加载的初步...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值