python学习——HTMLParser

最新推荐文章于 2024-04-07 10:04:33 发布
最新推荐文章于 2024-04-07 10:04:33 发布
阅读量511 收藏
点赞数
分类专栏： python 文章标签： python HTMLParser

如果我们要编写一个搜索引擎，第一步是用爬虫把目标网站的页面抓下来，第二步就是解析该HTML页面，看看里面的内容到底是新闻、图片还是视频。

假设第一步已经完成了，第二步应该如何解析HTML呢？

HTML本质上是XML的子集，但是HTML的语法没有XML那么严格，所以不能用标准的DOM或SAX来解析HTML。

好在Python提供了HTMLParser来非常方便地解析HTML，只需简单几行代码：

from html.parser import HTMLParser
from html.entities import name2codepoint

class MyHTMLParser(HTMLParser):

    def handle_starttag(self, tag, attrs):
        print('<%s>' % tag)

    def handle_endtag(self, tag):
        print('</%s>' % tag)

    def handle_startendtag(self, tag, attrs):
        print('<%s/>' % tag)

    def handle_data(self, data):
        print(data)

    def handle_comment(self, data):
        print('<!--', data, '-->')

    def handle_entityref(self, name):
        print('&%s;' % name)

    def handle_charref(self, name):
        print('&#%s;' % name)

parser = MyHTMLParser()
parser.feed('''<html>
<head></head>
<body>
<!-- test html parser -->
    <p>Some <a href=\"#\">html</a> HTML&nbsp;tutorial...<br>END</p>
</body></html>''')

feed()方法可以多次调用，也就是不一定一次把整个HTML字符串都塞进去，可以一部分一部分塞进去。

特殊字符有两种，一种是英文表示的&nbsp;，一种是数字表示的&#1234;，这两种字符都可以通过Parser解析出来。

小结

利用HTMLParser，可以把网页中的文本、图像等解析出来。

youzhouliu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
python系列（亲测有效）：Python爬虫常用之HtmlParser（解析html文字编码为正常显示的内容）
weixin_54626591的博客
06-15 1120
HtmlParser是一个类，在使用时一般继承它然后重载它的方法，来达到解析出需要的数据的目的。
python中html.parser_python模块之HTMLParser简介
weixin_35385921的博客
01-29 7331
html.parser是一个非常简单和实用的库，它的核心是HTMLParser类。工作的流程是：当你feed给它一个类似HTML格式的字符串时，它会调用goahead方法向前迭代各个标签，并调用对应的parse_xxxx方法提取start_tag, tag, attrs data comment和end_tag等等标签信息和数据，然后调用对应的方法对这些抽取出来的内容进行处理。整个HTMLPars...
python之htmlParser入门教程
热门推荐
萧萧的专栏
02-18 1万+
来源 《TextProcessing in Python》  和python官方  tutorial  HTMLParser.HTMLParser() htmlParser模块包含了类HTMLParser  这个类本身很有用.因为当产生事件时，本身并不做任何工作。对HTMLParser.HTMLParser() 的利用需要实现其子类，并且编写处理你感兴趣事件的方法 这里插入一段来
【Python入门】常用自带模块之HTMLParser
Zeke_Leeeee的博客
02-26 1298
学习python的第7天 Python的自带模块——HTMLParser的初步学习   HTMLParser是Python自带的模块，使用简单，能够很容易的实现HTML文件的分析。 本文主要简单讲一下HTMLParser的用法。 使用时需要定义一个从模块html.parser中的类HTMLParser继承的类，重定义函数： handle_starttag( tag, attrs) han...
Python的HTMLParser模块：HTML解析的得力工具
m0_62153576的博客
10-08 2506
HTMLParser模块是Python标准库中的一部分，提供了一个基于事件的HTML解析器。它继承自Python的SGMLParser类，用于将HTML文档解析成一系列事件，并在解析过程中调用相应的处理方法。print(f"开始标签:class MyHTMLParser(HTMLParser) : def handle_starttag(self , tag , attrs) : print(f"开始标签: {tag } , 属性: {
Python HTML解析模块HTMLParser(爬虫工具)
程序就是世界
12-21 291
先简略介绍一下。实际上，HTMLParser是python用来解析HTML的内置模块。它可以分析出HTML里面的标签、数据等等，是一种处理HTML的简便途径。HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它主要的用户回调函数的命名都是以"handle_"开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLParser派生出新的类，然后重新定义这几个以"handle_"开头的函数即可。
Python—解析HTML页面（HTMLParser）
a21700790yan的博客
12-18 500
HTMLParser类的定义及常用方法 类的定义 HTMLParser主要是用来解析HTML文件（包括HTML中无效的标记）。 参数convert_charrefs表示是否将所有的字符引用自动转化为Unicode形式，Python3.5以后默认是True。 HTMLParser可以接收相应的HTML内容，并进行解析，遇到HTML的标签会自动调用相应的handler（处理方法）来处理，用户需...
python之——使用python编写爬虫脚本
12-21
在Python编程领域，爬虫是一种常见的技术，用于自动抓取互联网上的信息。本文将深入讲解如何使用Python编写爬虫脚本，以爬取百度百科为例，介绍爬虫的基本组成部分。 首先，爬虫由五个主要部分构成： 1. **调度器...
Python编程入门经典
10-27
1.3 开始使用Python——字符串 6 1.3.1 字符串概述 6 1.3.2 为什么需要引号 6 1.3.3 为什么有3种类型的引号 7 1.3.4 使用print()函数 7 1.3.5 理解不同的引号 8 1.4 串联两个字符串 10 1.5 用不同的方法串联字符串 ...
Python库 | selectolax-0.2.11-cp36-cp36m-win_amd64.whl
03-24
本资源是名为"selectolax"的Python库的一个版本——0.2.11，它特别设计用于解析HTML和XML文档。 **Selectolax库** Selectolax是一个Python库，它的主要功能是提供一个类似CSS选择器的API来解析和操作HTML文档。在...
Python库 | selectolax-0.2.13-cp38-cp38-macosx_10_9_x86_64.whl
03-24
**Python库选择与安装——以selectolax为例** 在Python编程中，库是开发者的重要工具，它们提供了丰富的功能，使得代码编写更为高效便捷。本文将详细介绍一个名为`selectolax`的Python库，以及如何在Python环境中...
python html parser
08-22
python html parser
Python库 | selectolax-0.2.9-cp36-cp36m-win32.whl
02-20
**Python库选择与安装——selectolax** 在Python开发中，选择合适的库是提升效率的关键。`selectolax`是一个高效且易于使用的库，专为处理HTML和XML文档设计。这个库的名字来源于“Selenium”和“BeautifulSoup”的...
python自带的用于解析HTML的库HtmlParser
python学习者的博客
12-18 2577
HtmlParser，顾名思义，是解析Html的一个工具。python自带的。 一、常用属性和方法介绍 HtmlParser是一个类，在使用时一般继承它然后重载它的方法，来达到解析出需要的数据的目的。 1.常用属性： lasttag，保存上一个解析的标签名，是字符串。 2.常用方法： handle_starttag(tag, attrs) ，处理开始标签，比如< div>；这里的att...
python：html.parser --- 简单的 HTML 和 XHTML 解析器
点点关注不迷路
03-09 801
python：html.parser --- 简单的 HTML 和 XHTML 解析器
python中html.parser_Python中使用HTMLParser解析HTML文档
weixin_39993301的博客
12-10 338
HTMLParser是Python自带的模块，使用简单，能够很容易的实现HTML文件的分析，是一个处理HTML的简便途径。使用时需要定义一个继承HTMLParser的类，并重定义需要的成员函数以实现需要功能。HTMLParser实例中几个常用方法：#为解析器提供一些数据，数据格式必须是strHTMLParser.feed(data)#重置实例HTMLParser.reset()#处理开始标签 如：...
python的html模块,python模块之HTMLParser
weixin_30598047的博客
07-15 1446
HTMLParser是python用来解析html的模块。它可以分析出html里面的标签、数据等等，是一种处理html的简便途径。 HTMLParser采用的是一种事件驱动的模式，当HTMLParser找到一个特定的标记时，它会去调用一个用户定义的函数，以此来通知程序处理。它 主要的用户回调函数的命名都是以handler_开头的，都是HTMLParser的成员函数。当我们使用时，就从HTMLPar...
python爬虫基础-HTMLParser
与君共勉
05-20 5732
首先，Python提供了HTMLParser来非常方便地解析HTML，只需简单几行代码，如下： from HTMLParser import HTMLParser from htmlentitydefs import name2codepoint class MyHTMLParser(HTMLParser): def handle_starttag(self, tag, attrs...
如何在Python中将HTML实体代码转换为文本
最新发布
weixin_44617651的博客
04-07 641
在处理HTML数据时，有时会遇到HTML实体代码，这些代码是为了在HTML中表示特殊字符而使用的。例如，)，&表示和符号(&)等等。那么当我们在实际操作中可能会遇到下面的问题。
用python的htmlparser怎么爬取内容
03-31
使用Python的html.parser模块可以很方便地爬取网页内容。下面是一些基本的步骤： 1. 导入模块 ```python from html.parser import HTMLParser ``` 2. 继承HTMLParser类 ```python class MyHTMLParser(HTMLParser): def __init__(self): super().__init__() ``` 3. 实现处理函数 在MyHTMLParser类中实现处理函数，这些函数将在解析HTML文档的过程中被调用。 ```python def handle_starttag(self, tag, attrs): pass def handle_endtag(self, tag): pass def handle_data(self, data): pass ``` 其中，handle_starttag()函数处理开始标签，handle_endtag()函数处理结束标签，handle_data()函数处理标签之间的文本数据。 4. 创建实例并解析HTML文档 ```python parser = MyHTMLParser() parser.feed(html_doc) ``` 其中，html_doc是要解析的HTML文档。 5. 处理结果 解析完成后，可以从MyHTMLParser实例中获取解析结果。 ```python result = parser.result ``` 完整的代码示例： ```python from html.parser import HTMLParser class MyHTMLParser(HTMLParser): def __init__(self): super().__init__() self.result = [] def handle_starttag(self, tag, attrs): self.result.append(tag) def handle_endtag(self, tag): pass def handle_data(self, data): self.result.append(data) html_doc = """ <html> <head> <title>Example</title> </head> <body> <h1>Heading</h1> <p>Paragraph</p> </body> </html> """ parser = MyHTMLParser() parser.feed(html_doc) print(parser.result) ``` 输出结果： ``` ['html', 'head', 'title', 'Example', 'title', 'head', 'body', 'h1', 'Heading', 'h1', 'p', 'Paragraph', 'p', 'body', 'html'] ``` 这个示例只是简单地将标签和文本数据存储在了一个列表中，实际应用中需要根据具体需求进行处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值