Python爬虫BeautifulSoup笔记

最新推荐文章于 2024-09-27 16:14:00 发布

SFS_Ccjm

最新推荐文章于 2024-09-27 16:14:00 发布

阅读量273

点赞数 1

文章标签： python pycharm 爬虫经验分享

本文链接：https://blog.csdn.net/SFS_Ccjm/article/details/105166160

版权

BeautifulSoup基本用法

from bs4 import BeautifulSoup

# 某个网页的源代码
code = '源代码'
#读取到内存
html = code.read().decode('utf-8')
#转换为树形结构，每个标签（tag）是一个节点
soup = BeautifulSoup(html,'html.parser')

'''
soup.标签名 ------ 提取查找到的第一个标签
soup.标签名.string ------ 提取标签内容（文本，字符串）
soup.标签名.attrs ------ 提取标签内字典{属性：值，···，···}
'''

'''
soup.find_all('XXX',limit=10) ------ 提取名为XXX的前10条标签
soup.find_all(re.compile('正则表达式规则')) ------ 提取满足表达式的所有内容
soup.find_all('参数' = re.compile('正则表达式')) ------- 提取满足正则表达式的参数内容
'''

#选择器方式
'''
soup.select('title') ------ 通过标签查找
soup.select('.mnav') ------通过类名查找
soup.select('#Action') ------ 通过id查找
soup.select('p[class="mnav"]') ------ 通过属性查找
result = soup.select(f'#Action > .mnav > .t1 > a') ------ 通过子标签查找
'''