BeautifulSoup提取源代码信息

最新推荐文章于 2021-03-05 19:09:53 发布

哎哟喂噻

最新推荐文章于 2021-03-05 19:09:53 发布

阅读量1.7k

点赞数 1

本文链接：https://blog.csdn.net/t_r_y_0/article/details/100165680

版权

python 同时被 2 个专栏收录

2 篇文章 0 订阅

订阅专栏

BeautifulSoup

1 篇文章 0 订阅

订阅专栏

BeautifulSoup是一个HTML或XML的解析器，简单来说，就是可以在网页源代码中提取想要的信息。下面是一些基础操作~

先给一段源代码素材

html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""

这是一段源代码，通过网络爬取即可获得，这里只介绍解析部分，因此直接给出源代码。

学习BeautifulSoup，肯定得先import一下

from bs4 import BeautifulSoup

bs4是beautifulsoup4的简称；
BeautifulSoup其实是bs4中的一个类，然后通过这个类将网页html格式字符串生成一个对象，然后通过对象的方法来进行查找指定元素。

开始练习提取源代码中的内容

# 首先通过BeautifulSoup将html解释，赋值为一个新变量，便于后续操作
soup=BeautifulSoup(html,'html.parser')  # ’html.parser’是解析器，可换成’lxml’
print(soup.title)  # title标签
print(soup.a) # a标签
print(soup.a.name) # a标签的名字
print(soup.a.attrs) # a标签的属性
print(soup.a.text) # a标签的内容
print(soup.find_all('a')) # 找到所有的a标签
print(soup.find_all('a',id='link2')) # 有条件地寻找标签
print(soup.find_all('a',class_='sister'))
print(soup.find_all('a',attrs={'class':'sister'}))
print(soup.find_all('a',text='Tillie'))
for each in soup.find_all('a'): 
  print(each.attrs['href'])
  print(each.text)

运行结果如下

<title>The Dormouse's story</title>
<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>
a
{'href': 'http://example.com/elsie', 'class': ['sister'], 'id': 'link1'}
Elsie
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" 			href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" 	href="http://example.com/tillie" id="link3">Tillie</a>]
[<a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" 	href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>, <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>, <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
[<a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
http://example.com/elsie
Elsie
http://example.com/lacie
Lacie
http://example.com/tillie
Tillie