Python爬虫学习笔记——使用BeautifulSoup剖析页面元素

将网页读入Beautisoup中

接上回的代码，得到新浪的网页。

import requests
url = 'https://www.sina.com.cn/'
res = requests.get(url)
res.encoding = 'utf-8'
print(res.text)

将得到的页面读入BeautifulSoup中

from bs4 import BeautifulSoup
# 读入网页， res.text 传入剖析的网页，html.parser 是一个剖析器
soup = BeautifulSoup(res.text, 'html.parser')
print(soup.text)

这里的soup.text 和上面的res.text 是有区别的，将res.text读入BeautifulSoup
中后，会把外部不需要的html ， body 等标签去除。

取得包含制定标签的html元素

使用select找出指定标签元素

# 使用select找出含有a标签的元素
finds= soup.select('a')
print(finds)

因为页面中含有a标签的元素不会只有一个，所以select预设的返回值是一个列表，我们可以通过下标的方式得到指定的标签。

# 显示找到的第一个含有a标签的元素
print(finds[0])
# 显示第一个含有a标签的元素的文字
print(finds[0].text)
# 取得a标签内的链接
print(finds[0]['href'])

标签内的属性会被包装成一个字典，所以我们可以通过中括号的形式取得里面的值。

取得含有制定class属性的元素

# 取得含有属性 title 的元素
finds = soup.select('.title')
# 显示所有class 为title的元素
for find in finds:
	print(find)

取得新浪页面的标题和链接

import requests
from bs4 import BeautifulSoup

# 抓取的网页的路径 
url = 'https://news.sina.com.cn/china/'
# 爬取页面，接收响应
res = requests.get(url)
# 设置页面编码
res.encoding = 'utf-8'
# 将爬取的页面放入BeautifulSoup
soup = BeautifulSoup(res.text, 'html.parser')
# 筛选页面中的所有a标签
links = soup.select('a')
# 显示所有的a标签和链接地址
for link in links:
	print(link.text, '/t',link['href'])

Beautiful Soup的中文文档
@快乐是一切