python爬虫学习之Soup模块

最新推荐文章于 2024-08-08 15:42:55 发布

Terry无敌

最新推荐文章于 2024-08-08 15:42:55 发布

阅读量1.6k

点赞数 1

分类专栏： python

本文链接：https://blog.csdn.net/tengxing007/article/details/78169484

版权

python 专栏收录该内容

30 篇文章 0 订阅

订阅专栏

前言

就像我之前提到那样，使用正则来匹配获取是属麻烦，并且规则太多，下面结束一下python下面的一个模块Beautiful Soup来从网页抓取数据。
官网：
文档：http://beautifulsoup.readthedocs.io/zh_CN/latest/#id17

介绍

Beautiful Soup提供一些简单的、python式的用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。
Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。
Beautiful Soup已成为和l、html6lib一样出色的解释器，为用户灵活地提供不同的解析策略或强劲的速度。
和jsoup一样，一款比较好的python版HTML解析器，当然不仅仅是解析器，也能发起http请求。

使用

安装

#ubuntu(笔者没有Windows)
$ apt-get install Python-bs4
$ easy_install beautifulsoup
$ pip install beautifulsoup4

pip install lxml #解析xml文档
pip install html5lib# 解析HTML5格式的文档

快速使用

soup = BeautifulSoup('<html></html>'),'html5lib')

四大对象

Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种:

Tag 通俗点讲就是 HTML 中的一个个标签
NavigableString 获取标签的字符串，再也不用正则去除标签符号了
BeautifulSoup 调用核心对象
Comment 与NavigableString一样获取标签字符串，不同点：不包括注释符号

实战

soup = BeautifulSoup(open('index.html'),'html5lib')
print soup.prettify()#格式化html
print '-----------------分界线---------------------'
print soup.a# 返回的是第一个符合要求的标签
print soup.a['id']#soup.a.get('id')等价
#官方文档：http://beautifulsoup.readthedocs.io/zh_CN/latest/
print soup.title.string#获取html字符串
#place = Tool()
#print place.replace(str(soup.a))

#----------------------------
print soup.head.contents

for child in  soup.body.children:
    print child

for string in soup.a.strings:
    print(repr(string))

其中：html

<html>
<head>
    <title>测试python soup<!--ddfd--></title>
</head>
<body>
<a id="1">wo shi body!</a>
<a id="2">wo is body!</a>
</body>
</html>

由于后面还有很多，现在不一一说了，看文档：http://beautifulsoup.readthedocs.io/zh_CN/latest/

后记

相比之下，我觉得使用soup来进行解析获取html内容比正则来的容易，简单。
为一个web开发人员，我还是觉得看什么技术博客不如看官方文档。
Beautiful Soup的用法其实很像javaScript的原生dom操作(想必应该还有类似于jQuery之类的吧，我大笑。。。。。)
2017年 10月 07日星期六 14:34:16 CST