python入门学习之HTML解析

最新推荐文章于 2024-08-14 12:00:04 发布

haoyayade

最新推荐文章于 2024-08-14 12:00:04 发布

阅读量512

点赞数

分类专栏： python 文章标签： python

本文链接：https://blog.csdn.net/haoyayade/article/details/39210723

版权

python 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

这是参照廖雪峰老师的教程(链接)写的抓取网页特定信息的代码。感觉代码还不够简练，日后需要优化。

import urllib3
from HTMLParser import HTMLParser
from htmlentitydefs import name2codepoint, entitydefs

class MyHTMLParser(HTMLParser):

    def __init__(self):
        HTMLParser.__init__(self)
        self.h3 = None
        self.time = None
        self.span = None
        self.speci = False
        self.date = ''

    def handle_starttag(self, tag, attrs):
        if 'h3'==tag:
            for href, link in attrs:
                if 'event-title'==link:
                    self.h3 = tag
        if 'time'==tag:
            for href, link in attrs:
                if 'datetime'==href:
                    self.time = tag
                    self.date += link
        if 'span'== tag:
            for href, link in attrs:
                if 'event-location'==link:
                    self.span = tag
  
    def handle_endtag(self, tag):
        pass#print('</%s>' % tag)

    def handle_startendtag(self, tag, attrs):
        pass#print('<%s/>' % tag)

    def handle_data(self, data):
        if 'h3'==self.h3:
            print'conference title:',data
            self.h3 = None
        if 'time'==self.time:
            self.date+=data
            if self.speci:
                self.date += data
                self.speci = False
                self.time = None
                print self.date
                self.date = ''
        if 'span'==self.span:
            print 'event-location:',data
            self.span = None
            print '\n'

    def handle_comment(self, data):
        pass#print('<!--',data,' -->')

    def handle_entityref(self, name):
        if 'ndash'==name:
            self.date+='-'
            self.speci = True

    def handle_charref(self, name):
        pass
parser = MyHTMLParser()
url = "https://www.python.org/events/python-events/"
response = urllib2.urlopen(url)
page = response.read()
parser.feed(page)

注意：类中有个self.date 变量，我让它初始化为空的字符串，但在中间的函数处理过程中我无意将其赋值为None，导致我之后想做‘+’的字符串连接老是报告错误。
抓取网页特定内容的代码。由于知识累积的少，代码中对于特殊字符'&ndash'的解析感觉不是很完美，需以后改进。