python htmlparser使用问题小结

最新推荐文章于 2024-07-23 17:46:47 发布
最新推荐文章于 2024-07-23 17:46:47 发布
阅读量371 收藏
点赞数
分类专栏： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33339479/article/details/68491423
版权

基于HTMLParser的反复使用的问题


from HTMLParser import HTMLParser


class MyHTMLParser(HTMLParser):
    data = []
    def handle_starttag(self, tag, attrs):
        """
        recognize start tag, like <div>
        :param tag:
        :param attrs:
        :return:
        """
        print("Encountered a start tag:", tag)

    def handle_endtag(self, tag):
        """
        recognize end tag, like </div>
        :param tag:
        :return:
        """
        print("Encountered an end tag :", tag)
        self.data.append(tag)

    def handle_data(self, data):
        """
        recognize data, html content string
        :param data:
        :return:
        """
        print("Encountered some data  :", data)

    def handle_startendtag(self, tag, attrs):
        """
        recognize tag that without endtag, like <img />
        :param tag:
        :param attrs:
        :return:
        """
        print("Encountered startendtag :", tag)

    def handle_comment(self,data):
        """

        :param data:
        :return:
        """
        print("Encountered comment :", data)

    # def reset(self):
    #     HTMLParser.reset(self)
    #     self.data = []

    def close(self):
        HTMLParser.close(self)

resp = '<html><head><title>Test</title></head><body><h1>Parse me!</h1><img src = "" /><!-- comment --></body></html>'
parser = MyHTMLParser()
parser.feed(resp)
print(parser.data)
print("data",parser.data)
parser = MyHTMLParser()
parser.feed(resp)
print(parser.data)
此时如果要多次使用MyHTMLParser解析数据的话运行结果

('data', ['title', 'head', 'h1', 'body', 'html'])
['title', 'head', 'h1', 'body', 'html', 'title', 'head', 'h1', 'body', 'html']


此时结果仍然保留着上次处理的结果

此时需要重新重写reset()方法

def reset(self):
    HTMLParser.reset(self)
    self.data = []

此时运行结果

('data', ['title', 'head', 'h1', 'body', 'html'])

['title', 'head', 'h1', 'body', 'html']

此时才是新的数据不保留上次的数据处理


小屋子大侠
关注
专栏目录
Python 之 HTMLParser 简单案例
CN-LILU的博客
02-02 793
Python HTML操作（HTMLParser） HTML操作是编程中很重要的一块，下面用Python3.x中的html.parser中的HTMLParser类来进行HTML的解析。 HTMLParser类定义及常用方法 标准库中的定义 class html.parser.HTMLParser(*,convert_charrefs=True) 1.HTMLParser主要用来解析H
使用Python的HTMLParser解析HTML文本
cay22的专栏
11-11 8371
使用Python的HTMLParser解析HTML文本 一. HTMLParser            HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。 HTMLParser采用的是一种事件驱动的模式, 当HTMLParser找到一个特定的标记时, 它会去调用一个用户定义的函数(就是回调函数).
Python 实战 | 使用 Python 清洗文本字段中的 HTML 代码
最新发布
weixin_55633225的博客
07-23 823
本期文章和大家分享使用 Python 清洗文本字段中 html 代码以及 html 实体字符的方法~
Python的HTMLParser模块：HTML解析的得力工具
m0_62153576的博客
10-08 2895
HTMLParser模块是Python标准库中的一部分，提供了一个基于事件的HTML解析器。它继承自Python的SGMLParser类，用于将HTML文档解析成一系列事件，并在解析过程中调用相应的处理方法。print(f"开始标签:class MyHTMLParser(HTMLParser) : def handle_starttag(self , tag , attrs) : print(f"开始标签: {tag } , 属性: {
HtmlParser用法
imzoer的专栏
11-18 4034
htmlparser中有两种访问节点的方式 1、filter。通过filter，能够过滤出我们关心的节点。从而对节点进行进一步的访问。 2、vistor。vistor和filter不同。vistor是遍历内容树的每一个节点，对于符合条件的节点做相应的处理。 先看一下下面的html代码：                     id="treeDemo_1_switch">
Python—解析HTML页面（HTMLParser）
qq_34802511的博客
12-18 68
HTMLParser类的定义及常用方法 类的定义 HTMLParser主要是用来解析HTML文件(包括HTML中无效的标记)。 参数convert_charrefs表示是否将所有的字符引用自动转化为Unicode形式，Python3.5以后默认是True。 HTMLParser可以接收相应的HTML内容，并进行解析，遇到HTML的标签会自动调用相应的handler(处理方法)来处理，用户需要自...
python 模块-使用HTMLParser 解析html
我的技术生活
08-29 3229
python里面的HTMLParser解析html，跟c++和其他语言的html库解析不同，是使用类继承的方式。 通过重实现HTMLParser类的几个函数，来达到解析html的目的。 主要的重载的函数有： handle_starttag #开始标签的解析 handle_endtag #结束标签的解析 handle_data     #标签内数据的解析
python使用HTMLParser解析网页
weixin_42591870的博客
11-12 943
文章目录前言一、HTMLParser 是什么？二、使用步骤1.引入库2.继承HTMLParser创建子类3.重写方法三、例子 前言 写爬虫自然少不了html解析，今天介绍HTMLParser 的简单使用。 一、HTMLParser 是什么？ HTMLParser 是python 3自带的解析html的库。我们只需继承HTMLParser写一个子类，重写函数便可以使用它进行解析网页了。 二、使用步骤 1.引入库 代码如下（示例）： from html.parser import HTMLParser 2.
Python中使用HTMLParser解析html实例
09-22
主要介绍了Python中使用HTMLParser解析html实例,本文直接给出使用示例,并总结出HTMLParser含有的方法分为两类,一类是需要显式调用的,而另一类不需显示调用,需要的朋友可以参考下
Python HTML解析模块HTMLParser用法分析【爬虫工具】
09-19
总结来说，Python的HTMLParser模块为处理HTML文档提供了一种简单而灵活的方式，尤其适用于爬虫开发，可以方便地从中提取所需信息。通过自定义回调函数，开发者可以根据实际需求对HTML元素进行解析和操作，实现各种...
python之htmlParser入门教程分享.docx
11-24
### Python之htmlParser入门教程详解 #### 一、HTMLParser模块简介 HTMLParser模块是Python标准库中的一个重要组成部分，主要用于解析HTML文档。该模块提供的`HTMLParser`类可以帮助开发者轻松地解析HTML或XHTML...
python html parser
08-22
python html parser
Python-pythonxssfilter基于HTMLParser的原生HTML净化器清取所有javascript
08-10
总结起来，Python-xss-filter是一个基于Python的HTML净化库，它利用`HTMLParser`模块来检测和去除HTML中的JavaScript，是防范XSS攻击的一个实用工具。对于任何处理用户输入并显示在页面上的应用，集成这样的净化器都...
AttributeError: ‘HTMLParser‘ object has no attribute ‘unescape‘解决方案
热门推荐
weixin_43178406的博客
09-17 7万+
本文主要介绍了AttributeError: 'HTMLParser' object has no attribute 'unescape'解决方案，希望能对新手有所帮助。 文章目录 1. 问题描述 2. 解决方案
python htmllib.HTMLParser处理A标签获取链接和描述
fulerbakesi
06-26 208
HTMLParser类中有针对HTML标签的相应的函数，通过自定义，重载类中的函数来处理一些标签，函数如下： HTMLParser.anchor_bgn(href,name,type):#a标签开始的时候被调用，参数是A标签的属性值 HTMLParser.anchor_end()#锚点标签结束的时候处理 HTMLParser.save_bgn():#开始在缓冲区中保存字符...
python的HTMLParser
天道酬勤
12-24 791
示例1：基本函数的理解 #!/usr/bin/env python # coding=utf-8 from HTMLParser import HTMLParser class MyHTMLParser(HTMLParser): def handle_starttag(self, tag, attrs): print "a start tag:",tag,self.getpos()
html.parser无法完全解析网页之BUG的修正
weixin_34255793的博客
10-15 320
html.parser使用正则表达式解析html代码 在使用中发现部分网页无法完全解析，跟踪发现因为网页中有这样的代码 <a href="www.baidu.com"style="hot">badidu</a> 而html.parser定位tag使用的正则如下 locatestarttagend = re.compile(r""" &l...
python：html.parser --- 简单的 HTML 和 XHTML 解析器
点点关注不迷路
03-09 882
python：html.parser --- 简单的 HTML 和 XHTML 解析器
python自带的用于解析HTML的库HtmlParser
python学习者的博客
12-18 2618
HtmlParser，顾名思义，是解析Html的一个工具。python自带的。 一、常用属性和方法介绍 HtmlParser是一个类，在使用时一般继承它然后重载它的方法，来达到解析出需要的数据的目的。 1.常用属性： lasttag，保存上一个解析的标签名，是字符串。 2.常用方法： handle_starttag(tag, attrs) ，处理开始标签，比如< div>；这里的att...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值