python爬虫框架BS4

最新推荐文章于 2024-06-29 01:05:57 发布

kylinxjd

最新推荐文章于 2024-06-29 01:05:57 发布

阅读量301

点赞数

文章标签： python BeautifulSoup 爬虫

本文链接：https://blog.csdn.net/kylinxjd/article/details/96359436

版权

bs4 全名 BeautifulSoup，是编写 python 爬虫、解析网页的常用库之一。

一、安装

pip install bs4

二、find_all()

1、初始化，创建BeautifulSoup实例

from bs4 import BeautifulSoup
html_str = """
    <body>
        <div class="asd">
            <li><div></div></li>
            <li class="a"> <a href="javascript:history.back(-1);"><span>回到上一页</span></a></li>
            <li class="b"><div id="kk">asd</div></li>
            <li class="c"><a href="https://blog.csdn.net/kylinxjd/article/details/95978485">爬取百度贴吧</a></li>
            <li class="d"><div>fgh</div></li>
        </div>
    </body>
"""
soup = BeautifulSoup(html_str, 'html.parser')
# 将html格式化输出
soup.prettify()

2、查找指定标签

obj = soup.find_all(name='li')
print(obj)
for i in obj:
    print(i)

在这里插入图片描述
Name是标签名称，可以是
1）、字符串
2）、列表，用于查找多个标签，例：

查找head标签和title标签
3）、正则表达式

3、按类名查找

obj = soup.find_all(class_='a')
print(obj)
for i in obj:
    print(i)

因为class是关键字，所以要加下划线
在这里插入图片描述

三、select()

与find_all相似，实际使用比较多

获取元素

obj1 = soup.select('.a')
obj2 = soup.select('#bn')
obj3 = soup.select('.asd a')
obj4 = soup.select('a')
print(obj1)
print(obj2)
print(obj3)
print(obj4)

在这里插入图片描述

获取属性值及内容

for i in obj4:
    print(i.attrs['href'])
    print(i.get_text())

在这里插入图片描述

kylinxjd

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
python爬虫框架BS4

bs4 全名 BeautifulSoup，是编写 python 爬虫、解析网页的常用库之一。一、安装pip install bs4二、find_all()1、初始化，创建BeautifulSoup实例from bs4 import BeautifulSouphtml_str = """ <body> <div class="asd"> ...
复制链接

扫一扫