BeautifulSoup应用

最新推荐文章于 2024-08-23 16:53:34 发布

彼岸0823

最新推荐文章于 2024-08-23 16:53:34 发布

阅读量64

点赞数

分类专栏：爬虫 python 文章标签： beautifulsoup python Powered by 金山文档

本文链接：https://blog.csdn.net/gouqihang/article/details/129426974

版权

python 同时被 2 个专栏收录

8 篇文章 0 订阅

订阅专栏

爬虫

2 篇文章 0 订阅

订阅专栏

该文介绍了如何利用Python的BeautifulSoup4库解析HTML页面，通过设置请求头、获取网页内容，然后使用BeautifulSoup解析HTML，查找特定标签如a，提取链接信息。示例代码展示了从360搜索页面抓取并打印所有a标签的href属性。

摘要由CSDN通过智能技术生成

完成页面爬取后需要对返回的HTML字符串（或者列表）进行处理及解析数据

BeautifulSoup4安装方式

pip install beautifulsoup4

pip install lxml

pip install html5lib

引入方式：

from bs4 import BeautifulSoup

读取并定位数据示例，以360搜索页面为例

# -*- coding: utf-8 -*-
from urllib import request
import ssl
from bs4 import BeautifulSoup

ssl._create_default_https_context = ssl._create_unverified_context

url = 'https://www.so.com/?src=pclm&ls=safarimac'
headers = {'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_5) \
AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36'}

req = request.Request(url, headers=headers)
response = request.urlopen(req)

html = response.read()

bs = BeautifulSoup(html, "html.parser", from_encoding="utf8")
# print(bs.nav) # 定位到nav标签内容

nav = bs.nav
a_links = nav.find_all("a")
# print(a_links)

links = []
for link in a_links:
    links.append(link.get("href"))

for i in links:
    print(i)

find_all方法可以在文本中去查找对应标签。如上代码就是查找了所有的a标签

要定位子节点方式为

父.子