python对html文件的解析

最新推荐文章于 2024-09-24 22:43:36 发布
最新推荐文章于 2024-09-24 22:43:36 发布
阅读量4.4k 收藏 6
点赞数

解析html是爬虫后的重要的一个处理数据的环节。一下记录解析html的几种方式。 
先介绍基础的辅助函数，主要用于获取html并输入解析后的结束

#把传递解析函数，便于下面的修改
def get_html(url, paraser=bs4_paraser):
    headers = {
        'Accept': '*/*',
        'Accept-Encoding': 'gzip, deflate, sdch',
        'Accept-Language': 'zh-CN,zh;q=0.8',
        'Host': 'www.360kan.com',
        'Proxy-Connection': 'keep-alive',
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
    }
    request = urllib2.Request(url, headers=headers)
    response = urllib2.urlopen(request)
    response.encoding = 'utf-8'
    if response.code == 200:
        data = StringIO.StringIO(response.read())
        gzipper = gzip.GzipFile(fileobj=data)
        data = gzipper.read()
        value = paraser(data)  # open('E:/h5/haPkY0osd0r5UB.html').read()
        return value
    else:
        pass


value = get_html('http://www.360kan.com/m/haPkY0osd0r5UB.html', paraser=lxml_parser)
for row in value:
    print row
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
1，lxml.html的方式进行解析，
The lxml XML toolkit is a Pythonic binding for the C libraries libxml2 and libxslt. It is unique in that it combines the speed and XML feature completeness of these libraries with the simplicity of a native Python API, mostly compatible but superior to the well-known ElementTree API. The latest release works with all CPython versions from 2.6 to 3.5. See the introduction for more information about background and goals of the lxml project. Some common questions are answered in the FAQ.
[官网](http://lxml.de/)
  • 1
  • 2
  • 3
  • 4
def lxml_parser(page):
    data = []
    doc = etree.HTML(page)
    all_div = doc.xpath('//div[@class="yingping-list-wrap"]')
    for row in all_div:
        # 获取每一个影评，即影评的item
        all_div_item = row.xpath('.//div[@class="item"]')  # find_all('div', attrs={'class': 'item'})
        for r in all_div_item:
            value = {}
            # 获取影评的标题部分
            title = r.xpath('.//div[@class="g-clear title-wrap"][1]')
            value['title'] = title[0].xpath('./a/text()')[0]
            value['title_href'] = title[0].xpath('./a/@href')[0]
            score_text = title[0].xpath('./div/span/span/@style')[0]
            score_text = re.search(r'\d+', score_text).group()
            value['score'] = int(score_text) / 20
            # 时间
            value['time'] = title[0].xpath('./div/span[@class="time"]/text()')[0]
            # 多少人喜欢
            value['people'] = int(
                    re.search(r'\d+', title[0].xpath('./div[@class="num"]/span/text()')[0]).group())
            data.append(value)
    return data
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
2，使用BeautifulSoup，不多说了，推荐一篇讲解非常好的文章
[应用讲解](http://www.bkjia.com/Pythonjc/992499.html%20%E5%BA%94%E7%94%A8%E8%AE%B2%E8%A7%A3)
  • 1
  • 2
  • 3
def bs4_paraser(html):
    all_value = []
    value = {}
    soup = BeautifulSoup(html, 'html.parser')
    # 获取影评的部分
    all_div = soup.find_all('div', attrs={'class': 'yingping-list-wrap'}, limit=1)
    for row in all_div:
        # 获取每一个影评，即影评的item
        all_div_item = row.find_all('div', attrs={'class': 'item'})
        for r in all_div_item:
            # 获取影评的标题部分
            title = r.find_all('div', attrs={'class': 'g-clear title-wrap'}, limit=1)
            if title is not None and len(title) > 0:
                value['title'] = title[0].a.string
                value['title_href'] = title[0].a['href']
                score_text = title[0].div.span.span['style']
                score_text = re.search(r'\d+', score_text).group()
                value['score'] = int(score_text) / 20
                # 时间
                value['time'] = title[0].div.find_all('span', attrs={'class': 'time'})[0].string
                # 多少人喜欢
                value['people'] = int(
                        re.search(r'\d+', title[0].find_all('div', attrs={'class': 'num'})[0].span.string).group())
            # print r
            all_value.append(value)
            value = {}
    return all_value
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
3，使用SGMLParser，主要是通过start、end tag的方式进行了，解析工程比较明朗，但是有点麻烦，而且该案例的场景不太适合该方法，（哈哈）
  • 1
  • 2
class CommentParaser(SGMLParser):
    def __init__(self):
        SGMLParser.__init__(self)
        self.__start_div_yingping = False
        self.__start_div_item = False
        self.__start_div_gclear = False
        self.__start_div_ratingwrap = False
        self.__start_div_num = False
        # a
        self.__start_a = False
        # span 3中状态
        self.__span_state = 0
        # 数据
        self.__value = {}
        self.data = []

    def start_div(self, attrs):
        for k, v in attrs:
            if k == 'class' and v == 'yingping-list-wrap':
                self.__start_div_yingping = True
            elif k == 'class' and v == 'item':
                self.__start_div_item = True
            elif k == 'class' and v == 'g-clear title-wrap':
                self.__start_div_gclear = True
            elif k == 'class' and v == 'rating-wrap g-clear':
                self.__start_div_ratingwrap = True
            elif k == 'class' and v == 'num':
                self.__start_div_num = True

    def end_div(self):
        if self.__start_div_yingping:
            if self.__start_div_item:
                if self.__start_div_gclear:
                    if self.__start_div_num or self.__start_div_ratingwrap:
                        if self.__start_div_num:
                            self.__start_div_num = False
                        if self.__start_div_ratingwrap:
                            self.__start_div_ratingwrap = False
                    else:
                        self.__start_div_gclear = False
                else:
                    self.data.append(self.__value)
                    self.__value = {}
                    self.__start_div_item = False
            else:
                self.__start_div_yingping = False

    def start_a(self, attrs):
        if self.__start_div_yingping and self.__start_div_item and self.__start_div_gclear:
            self.__start_a = True
            for k, v in attrs:
                if k == 'href':
                    self.__value['href'] = v

    def end_a(self):
        if self.__start_div_yingping and self.__start_div_item and self.__start_div_gclear and self.__start_a:
            self.__start_a = False

    def start_span(self, attrs):
        if self.__start_div_yingping and self.__start_div_item and self.__start_div_gclear:
            if self.__start_div_ratingwrap:
                if self.__span_state != 1:
                    for k, v in attrs:
                        if k == 'class' and v == 'rating':
                            self.__span_state = 1
                        elif k == 'class' and v == 'time':
                            self.__span_state = 2
                else:
                    for k, v in attrs:
                        if k == 'style':
                            score_text = re.search(r'\d+', v).group()
                    self.__value['score'] = int(score_text) / 20
                    self.__span_state = 3
            elif self.__start_div_num:
                self.__span_state = 4

    def end_span(self):
        self.__span_state = 0

    def handle_data(self, data):
        if self.__start_a:
            self.__value['title'] = data
        elif self.__span_state == 2:
            self.__value['time'] = data
        elif self.__span_state == 4:
            score_text = re.search(r'\d+', data).group()
            self.__value['people'] = int(score_text)
        pass
def sgl_parser(html):
    parser = CommentParaser()
    parser.feed(html)
    return parser.data
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29
  • 30
  • 31
  • 32
  • 33
  • 34
  • 35
  • 36
  • 37
  • 38
  • 39
  • 40
  • 41
  • 42
  • 43
  • 44
  • 45
  • 46
  • 47
  • 48
  • 49
  • 50
  • 51
  • 52
  • 53
  • 54
  • 55
  • 56
  • 57
  • 58
  • 59
  • 60
  • 61
  • 62
  • 63
  • 64
  • 65
  • 66
  • 67
  • 68
  • 69
  • 70
  • 71
  • 72
  • 73
  • 74
  • 75
  • 76
  • 77
  • 78
  • 79
  • 80
  • 81
  • 82
  • 83
  • 84
  • 85
  • 86
  • 87
  • 88
  • 89
  • 90
  • 91
  • 92
4,HTMLParaer，与3原理相识，就是调用的方法不太一样，基本上可以公用，
  • 1
  • 2
class CommentHTMLParser(HTMLParser.HTMLParser):
    def __init__(self):
        HTMLParser.HTMLParser.__init__(self)
        self.__start_div_yingping = False
        self.__start_div_item = False
        self.__start_div_gclear = False
        self.__start_div_ratingwrap = False
        self.__start_div_num = False
        # a
        self.__start_a = False
        # span 3中状态
        self.__span_state = 0
        # 数据
        self.__value = {}
        self.data = []

    def handle_starttag(self, tag, attrs):
        if tag == 'div':
            for k, v in attrs:
                if k == 'class' and v == 'yingping-list-wrap':
                    self.__start_div_yingping = True
                elif k == 'class' and v == 'item':
                    self.__start_div_item = True
                elif k == 'class' and v == 'g-clear title-wrap':
                    self.__start_div_gclear = True
                elif k == 'class' and v == 'rating-wrap g-clear':
                    self.__start_div_ratingwrap = True
                elif k == 'class' and v == 'num':
                    self.__start_div_num = True
        elif tag == 'a':
            if self.__start_div_yingping and self.__start_div_item and self.__start_div_gclear:
                self.__start_a = True
                for k, v in attrs:
                    if k == 'href':
                        self.__value['href'] = v
        elif tag == 'span':
            if self.__start_div_yingping and self.__start_div_item and self.__start_div_gclear:
                if self.__start_div_ratingwrap:
                    if self.__span_state != 1:
                        for k, v in attrs:
                            if k == 'class' and v == 'rating':
                                self.__span_state = 1
                            elif k == 'class' and v == 'time':
                                self.__span_state = 2
                    else:
                        for k, v in attrs:
                            if k == 'style':
                                score_text = re.search(r'\d+', v).group()
                        self.__value['score'] = int(score_text) / 20
                        self.__span_state = 3
                elif self.__start_div_num:
                    self.__span_state = 4

    def handle_endtag(self, tag):
        if tag == 'div':
            if self.__start_div_yingping:
                if self.__start_div_item:
                    if self.__start_div_gclear:
                        if self.__start_div_num or self.__start_div_ratingwrap:
                            if self.__start_div_num:
                                self.__start_div_num = False
                            if self.__start_div_ratingwrap:
                                self.__start_div_ratingwrap = False
                        else:
                            self.__start_div_gclear = False
                    else:
                        self.data.append(self.__value)
                        self.__value = {}
                        self.__start_div_item = False
                else:
                    self.__start_div_yingping = False
        elif tag == 'a':
            if self.__start_div_yingping and self.__start_div_item and self.__start_div_gclear and self.__start_a:
                self.__start_a = False
        elif tag == 'span':
            self.__span_state = 0

    def handle_data(self, data):
        if self.__start_a:
            self.__value['title'] = data
        elif self.__span_state == 2:
            self.__value['time'] = data
        elif self.__span_state == 4:
            score_text = re.search(r'\d+', data).group()
            self.__value['people'] = int(score_text)
        pass
def html_parser(html):
    parser = CommentHTMLParser()
    parser.feed(html)
    return parser.data
Temp010Temp
关注
利用python将xml文件解析成html文件的实现方法
09-20
### 利用Python将XML文件解析成HTML文件的实现方法 #### 一、背景与目的 在Web开发中，XML（可扩展标记语言）是一种常用的数据交换格式，它以其结构化的特点广泛应用于不同系统间的数据交换。而HTML（超文本标记...
Python之HTML解析方法
xiaoweids的博客
07-03 1万+
转自：微点阅读 https://www.weidianyuedu.com一、强大的BeautifulSoup：BeautifulSoup是一个可以从html或xml文件中提取数据的Python库。它能够通过你喜欢的转换器实现惯用的文档导航、查找、修改文档的方式。在Python开发中，主要用的是BeautifulSoup的查找提取功能，修改功能很少使用1、安装BeautifulSouppip3 install beautifulsoup42、安装第三方html解析器lxmlpip3 install lxml
python 数据分析之 HTML文件解析
weixin_42914706的博客
02-19 1万+
HTML：是 Hypertext Marked Language，即超文本标记语言，是一种用来制作超文本文档的简单标记语言；HTTP超文本传输协议规定了浏览器在运行 HTML 文档时所遵循的规则和进行的操作。HTTP协议的制定使浏览器在运行超文本时有了统一的规则和标准。HTML文件本质上是文本文件，而普通的文本文件只能显示字符。
Python 解析 html
matrixlzp的博客
09-24 1178
假设有如下 html 文档：写一段 python 脚本，解析出里面的数据，包括经度维度。
Python解析html网页，掌握这4种方法就够了
xyh2004的博客
06-08 3683
在探索Python解析HTML网页的多样化途径中，本文综述了四大主流库的运用：BeautifulSoup以其直观的API和易用性成为初学者优选；lxml凭借C语言库的绑定 ，在速度和功能完整性上占据优势，特别适合XML和XPath重度用户；PyQuery则以类似jQuery的语法吸引了熟悉前端开发者的青睐；而requests-HTML库 ，通过异步渲染和自动处理JavaScript，高效应对动态网页抓取。每种方法各有千秋，选择最佳工具需依据具体需求：静态内容提取倾向BS或PyQuery
Python爬虫 —— 使用BeautifulSoup4解析HTML文档
小菜鸡的小博客
03-31 1万+
我们来聊聊BS4是个啥，它能干啥，BS4是一个从HTML和XML文件中提取数据的python库，它可以将复杂HTML文件转换为一个复杂的树形结构，这棵树的每一个结点都是Python对象，所有对象都可以归纳为4类，这四个对象能干啥呢？点进来看看吧
Python神器：用Python解析HTML轻松搞定网页数据
涛哥聊Python
11-22 2061
本文介绍了如何使用Python来解析HTML，介绍了三种主要的HTML解析方法：正则表达式、Beautiful Soup和lxml。每种方法都有其适用的场景和优劣势。正则表达式是一种强大的文本匹配工具，适合用于简单的HTML解析任务，但在处理复杂HTML结构时可能不够健壮。Beautiful Soup是一款简单而强大的库，提供了易于使用的API，用于导航、搜索和修改解析树。它适用于大多数HTML文档的解析和数据提取。
8.python beatifulsoup html文件解析1
08-08
1. 打开本地HTML文件。 2. 直接处理字符串形式的HTML。 3. 解析网络请求返回的HTML内容，如通过`requests`库获取网页内容。 关于BeautifulSoup对象，主要分为四类：Tag、NavigableString、BeautifulSoup和Comment。...
基于Python的HTML解析爬虫设计源码
最新发布
10-01
本项目是一款基于Python的HTML解析爬虫，包含106个文件，涵盖Python源代码、配置文件、数据文件等多种格式，旨在高效地从网页中提取所需信息。
Python中利用xpath解析HTML的方法
09-20
首先，我们要读取HTML文档的内容，可以使用Python标准库中的codecs模块打开并读取HTML文件： ```python import codecs from lxml import etree # 打开并读取HTML文件 with codecs.open("ceshi.html", "r", "utf-8...
python读取xml文件方法解析
09-16
在Python中，我们可以使用`xml.dom.minidom`模块来解析XML文件。首先，需要导入该模块，然后使用`parse()`函数打开并解析XML文件： ```python import xml.dom.minidom dom = xml.dom.minidom.parse('abc.xml') ```...
Python爬虫：HTML网页解析方法小结
m0_59162248的博客
03-25 5675
学过requests库的看到requests-html的api应该会很熟悉，使用方法基本一致，不同的是使用requests编写爬虫时，要先把网页爬取下来，然后再交给BeautifulSoup等一些html解析库，现在可以直接解析了。（4）requests-html 是比较新的一个库，高度封装且源码清晰，它直接整合了大量解析时繁琐复杂的操作，同时支持DOM解析和XPath解析两种方式，灵活方便，可以尝试。”**在csdn看到过一篇比较好的文章，讲的很实用，大家伙可以移步去看看，链接分享在下方。
Python HTML解析详解
naer_chongya的博客
05-11 2075
HTML解析是任何网络爬虫应用的基础，Python中提供了多个解析HTML的库，包括BeautifulSoup、lxml、html5lib等。这里我们将使用BeautifulSoup来演示如何解析HTML。
python解析html基础操作
zyp626的博客
09-11 6148
通过python的lxml对html文件进行基础的操作
用Python解析HTML页面
No_Name_Cao_Ni_Mei的博客
10-20 559
下面我们对三种解析方式做一个简单比较。解析方式对应的模块速度使用难度正则表达式解析re快困难XPath 解析lxml快一般CSS 选择器解析bs4或pyquery不确定简单。
python 解析HTML
Jeanphorn的专栏
06-25 9999
1. 理解网页上的数据 网页上的数据主要有： HTML XHTML XML JSON 需要一个接受数据并解析的机制 需要一个产生数据并发送的机制 2. 解析HTML 层次化的数据 有多个解析HTML的第三方库，例如：LXML，BeautifulSoup，HTMLParser等等。 解析HTML所面临的问题： 没有统一的标准。 很多网页并没有遵循HTML文档 2.1 BeautifulSoup
Python之解析html内容
fffffffff128的博客
04-18 4223
开始学习崔庆才的《Python3网络爬虫开发实战》 我要寻找生存的迹象 里面有段有趣的html <!DOCTYPE html> <html> <head> <meta charset="UTF-8"> <title>This is a Demo</title> </head> <body> <di...
用python解析html
热门推荐
避免忘记
09-13 4万+
       python中，有三个库可以解析html文本，HTMLParser,sgmllib,htmllib。他们的实现方法不通，但功能差不多。这三个库中提供解析html的类都是基类，本身并不做具体的工作。他们在发现的元件后（如标签、注释、声名等），会调用相应的函数，这些函数必须重载，因为基类中不作处理。比如："""AdviceThe IETF admonishes:Be strict in what you send."""如果对这个数据做处理，当检测到标签时，对于HTMLPar
Python深度HTML解析与应对策略
"Python网络数据采集之HTML解析是IT领域的重要技术，主要应用于从网页中提取和抓取所需信息。在实际的数据采集过程中，遇到的主要挑战包括目标信息深度嵌套在HTML结构中，以及网站结构的动态变化。为了解决这些问题...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值