Python-BeautifulSoup4操作

最新推荐文章于 2024-08-06 23:23:32 发布
最新推荐文章于 2024-08-06 23:23:32 发布
阅读量3.3k 收藏 7
点赞数 2
分类专栏： python 文章标签： beautifulsoup4 html
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y472360651/article/details/79454619
版权

Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省数小时甚至数天的工作时间。本篇文章将简要介绍一个下BeautifulSoup的操作：

安装BeautifulSoup4

pip install beautifulsoup4

一些基本操作

假设有这样一个Html，具体内容如下：

<!DOCTYPE html>
<!--STATUS OK-->
<html>
 <head>
  <meta content="text/html;charset=utf-8" http-equiv="content-type"/>
  <meta content="IE=Edge" http-equiv="X-UA-Compatible"/>
  <meta content="always" name="referrer"/>
  <link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/>
  <title>
   百度一下，你就知道
  </title>
 </head>
 <body link="#0000cc">
  <div id="wrapper">
   <div id="head">
    <div class="head_wrapper">
     <div id="u1">
      <a class="mnav" href="http://news.baidu.com" name="tj_trnews">
       新闻
      </a>
      <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">
       hao123
      </a>
      <a class="mnav" href="http://map.baidu.com" name="tj_trmap">
       地图
      </a>
      <a class="mnav" href="http://v.baidu.com" name="tj_trvideo">
       视频
      </a>
      <a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">
       贴吧
      </a>
      <a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">
       更多产品
      </a>
     </div>
    </div>
   </div>
  </div>
 </body>
</html>

创建beautifulsoup4对象：

from bs4 import BeautifulSoup

bs = BeautifulSoup(html_doc,"html.parser")

缩进格式的结构输出：

print bs.prettify()

几个浏览结构化数据的方法：

print bs.title
# <title>百度一下，你就知道</title>，bs4.element.Tag对象

print bs.title.name
# title

print bs.title.string
# 百度一下，你就知道

print bs.div
# <div id="wrapper"> ... </div>，bs4.element.Tag对象

print bs.div["id"]
# wrapper

print bs.a
# <a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>，bs4.element.Tag对象

print bs.find_all("a")
# [<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>, <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>, ...]

print bs.find(id="u1")
# <div id="u1"> ... </div>

获取文档中所有a标签的链接：

for item in bs.find_all("a"):
    print item.get("href")
    # print item["href"]

###### 结果如下 #######
http://news.baidu.com
https://www.hao123.com
http://map.baidu.com
http://v.baidu.com
http://tieba.baidu.com
//www.baidu.com/more/

获取文档中所有a标签的内容：

for item in bs.find_all("a"):
    print item.get_text()

###### 结果如下 #######
新闻
hao123
地图
视频
贴吧
更多产品

Tag对象

在上面的栗子中可以看到，当我们获取HTML下的title或div节点，返回的是一个bs4.element.Tag，接下来介绍该对象的一些重要操作。

首先获取一个Tag对象:

t = bs.a
  • name：获取Tag的名称
print t.name        # a
  • string：获取Tag的内容
print t.string      # 新闻
  • attrs：获取Tag的所有属性。一个Tag之中可能包含多个属性，例如id、class等等，此时我们需要获取所有的属性。
print t.attrs       # {u'href': u'http://news.baidu.com', u'name': u'tj_trnews', u'class': [u'mnav']}

Tag中的attrs可以被修改、删除和添加，操作方法与字典一致：

d = t.attrs
print d["class"]        # [u'mnav']

del d["class"]  

print d["class"]        # 报错： KeyError: 'class'，因为已经被删除了
print d.get("class")    # None

HTML中还有一些多值属性，比较常见的是class，当我们获取一个标签下class的值，通常返回的是一个列表。rel、rev、accept-charset、headers、accesskey这些都是多值属性，返回的都是一个list:

print t["class"]     # [u'mnav']

替换Tag的内容：

t.string.replace_with("哈哈")
# t.string = "哈哈"

print t                 # <a class="mnav" href="http://news.baidu.com" name="tj_trnews">哈哈</a>
  • contents：获取Tag的所有子节点，返回一个list
t = bs.head

print t.contents
# [<meta content="text/html;charset=unicode-escape" http-equiv="content-type"/>, <meta content="IE=Edge" http-equiv="X-UA-Compatible"/>, ...]
  • children：获取Tag的所有子节点，返回一个生成器
t = bs.head

print t.children        # <listiterator object at 0x000000000362DCF8>
for item in t.children:
    print item

###### 结果如下 #######
<meta content="text/html;charset=utf-8" http-equiv="content-type"/>
<meta content="IE=Edge" http-equiv="X-UA-Compatible"/>
<meta content="always" name="referrer"/>
<link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/>
<title>百度一下，你就知道</title>
  • descendants：获取Tag的所有子孙节点
t = bs.head
for item in t.descendants:
    print item

###### 结果如下 #######
<meta content="text/html;charset=utf-8" http-equiv="content-type"/>
<meta content="IE=Edge" http-equiv="X-UA-Compatible"/>
<meta content="always" name="referrer"/>
<link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/>
<title>百度一下，你就知道</title>
百度一下，你就知道

因为title没有子节点，只有内容，所以就把内容当作了它的子节点获取到了。

  • strings：如果Tag包含多个字符串，即在子孙节点中有内容，可以用此获取，而后进行遍历
t = bs.body

for item in t.strings:
    print item

###### 结果如下 #######
新闻

hao123

地图

视频

贴吧


更多产品
  • stripped_strings：与strings用法一致，只不过可以去除掉那些多余的空白内容
  • parent：获取Tag的父节点
t = bs.title

print bs.parent
# <head> ... </head>
  • parents：递归得到父辈元素的所有节点，返回一个生成器
  • previous_sibling：获取当前Tag的上一个节点，属性通常是字符串或空白，真实结果是当前标签与上一个标签之间的顿号和换行符
  • next_sibling：获取当前Tag的下一个节点，属性通常是字符串或空白，真是结果是当前标签与下一个标签之间的顿号与换行符
t = bs.a
t1 = t.next_sibling

# 为一个空白字符串
print t1
  • previous_siblings：获取当前Tag的上面所有的兄弟节点，返回一个生成器
  • next_siblings：获取当前Tag的下面所有的兄弟节点，返回一个生成器
t = bs.a
print t.next_siblings
# <generator object next_siblings at 0x0000000004164678>

for item in t.next_siblings:
    print item

###### 结果如下 #######
<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>

<a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>

<a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>

<a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>

<a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品</a>
  • previous_element：获取解析过程中上一个被解析的对象(字符串或tag)，可能与previous_sibling相同，但通常是不一样的
  • next_element：获取解析过程中下一个被解析的对象(字符串或tag)，可能与next_sibling相同，但通常是不一样的
t = bs.a
print t.next_element
# 新闻

可以看出，.next_element与.next_sibling是不一样的，.next_element属性结果是在<a>标签被解析之后的解析内容，不是<a>标签后的句子部分

  • previous_elements：返回一个生成器，可以向前访问文档的解析内容
  • next_elements：返回一个生成器，可以向后访问文档的解析内容
  • has_attr：判断Tag是否包含属性
t = bs.a
print t.has_attr("class")       # True
print t.has_attr("id")          # False

过滤器find_all

在上面的栗子中我们简单介绍了find_all的使用，接下来介绍一下find_all的更多用法-过滤器。这些过滤器贯穿整个搜索API，过滤器可以被用在tag的name中，节点的属性等。

  • 字符串过滤：会查找与字符串完全匹配的内容
t = bs.find_all("a")
print t
# [<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>, <a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>, ...]
  • 正则表达式过滤：如果传入的是正则表达式，那么BeautifulSoup4会通过search()来匹配内容
import re
t_list = bs.find_all(re.compile("a"))
for item in t_list:
    print item

###### 结果如下 #######
<head><meta content="text/html;charset=utf-8" http-equiv="content-type"/><meta content="IE=Edge" http-equiv="X-UA-Compatible"/><meta content="always" name="referrer"/><link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/><title>百度一下，你就知道</title></head>
<meta content="text/html;charset=utf-8" http-equiv="content-type"/>
<meta content="IE=Edge" http-equiv="X-UA-Compatible"/>
<meta content="always" name="referrer"/>
<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>
<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>
<a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>
<a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>
<a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>
<a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品</a>
  • 列表：如果传入一个列表，BeautifulSoup4将会与列表中的任一元素匹配到的节点返回
t_list = bs.find_all(["meta","link"])
for item in t_list:
    print item

###### 结果如下 #######
<meta content="text/html;charset=utf-8" http-equiv="content-type"/>
<meta content="IE=Edge" http-equiv="X-UA-Compatible"/>
<meta content="always" name="referrer"/>
<link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/>
  • True、False或空值：传入True、False或空值将可以获取到所有的Tag
print bs.find_all(True)

print bs.find_all(False)

print bs.find_all()
  • 方法：传入一个方法，根据方法来匹配
def name_is_exists(tag):
    return tag.has_attr("name")

t_list = bs.find_all(name_is_exists)
for item in t_list:
    print item

###### 结果如下 #######
<meta content="always" name="referrer"/>
<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>
<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>
<a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>
<a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>
<a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>
<a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品</a>

从结果可以看出，匹配的结果是根据方法的逻辑判断是否为True来匹配的。

  • name参数：传入一个name参数，匹配Tag中name值，效果与传入字符串一致
  • 关键字参数：可以根据Tag的属性进行搜索
# 查询id=head的Tag
t_list = bs.find_all(id="head")
print t_list
# [<div id="head"> ... </div>]

# 查询href属性包含ss1.bdstatic.com的Tag
t_list = bs.find_all(href=re.compile("ss1.bdstatic.com")
print t_list
# [<link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/>]

# 查询所有包含class的Tag(注意：class在Python中属于关键字，所以加_以示区别)
t_list = bs.find_all(class_=True)
for item in t_list:
    print item

###### 结果如下 #######
<div class="head_wrapper"> ... </div>
<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>
<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>
<a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>
<a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>
<a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>
<a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品</a>

并不是所有的属性都可以使用上面这种方式进行搜索，比如HTML的data-*属性：

t_list = bs.find_all(data-foo="value")

如果执行这段代码，将会报错。难道此种属性就不可以被搜索了吗，我们可以使用attrs参数，定义一个字典来搜索包含特殊属性的tag：

t_list = bs.find_all(attrs={"data-foo":"value"})
  • 按CSS搜索：我们可以搜索指定标签，然后根据标签的类名或一些指定属性来进行过滤。值得注意的是，class在Python中是关键字，所以从BeautifulSoup4.1.1开始，使用class搜索，需要将其更改成class_
# 查询class为mnav的所有a标签
t_list = bs.find_all("a",class_="mnav")
print t_list

# 查询class包含a的所有标签
t_list = bs.find_all(class_=re.compile("a"))
print t_list

# 查询name=tj_trnews的所有a标签
t_list = bs.find_all("a",attrs={"name":"tj_trnews"})
print t_list

当我们搜索class中的一些特殊属性时，我们同样也可以传入一个方法，来进行特殊操作以达到过滤的目的：

def length_is_four(class_)
    return class_ and len(class_) = 4

t_list = bs.find_all(class_=length_is_four)
for item in t_list:
    print item

###### 结果如下 #######
<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>
<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>
<a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>
<a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>
<a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>
  • text参数：我们还可以传入一个text参数用于查询标签里的内容
# 查询内容为新闻的所有数据
t_list = bs.find_all(text="新闻")
print t_list    # [u'\u65b0\u95fb']

# 查询内容包含‘新’的所有数据
t_list = bs.find_all(re.compile(u"新"))
print t_list

当我们搜索text中的一些特殊属性时，同样也可以传入一个方法来达到我们的目的：

def length_is_two(text):
    return text and len(text) == 2
t_list = bs.find_all(text=length_is_two)
for item in t_list:
    print item

###### 结果如下 #######
新闻
地图
视频
贴吧
  • limit参数：可以传入一个limit参数来限制返回的数量，当搜索出的数据量为5，而设置了limit=2时，此时只会返回前2个数据
t_list = bs.find_all("a",limit=2)
for item in t_list:
    print item

###### 结果如下 #######
<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>
<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>

find_all除了上面一些常规的写法，还可以对其进行一些简写：

# 两者是相等的
t_list = bs.find_all("a") => t_list = bs("a")

# 两者是相等的
t_list = bs.a.find_all(text="新闻") => t_list = bs.a(text="新闻")

find()

find()将返回符合条件的第一个Tag，有时我们只需要或一个Tag时，我们就可以用到find()方法了。当然了，也可以使用find_all()方法，传入一个limit=1，然后再取出第一个值也是可以的，不过未免繁琐。

t_list = bs.find_all("title",limit=1)
print t_list        # [<title>\u767e\u5ea6\u4e00\u4e0b\uff0c\u4f60\u5c31\u77e5\u9053</title>]

t = bs.find("title")
print t             # <title>百度一下，你就知道</title>

t = bs.find("abc")
print t             # None

从结果可以看出find_all，尽管传入了limit=1，但是返回值仍然为一个列表，当我们只需要取一个值时，远不如find方法方便。但是如果未搜索到值时，将返回一个None

在上面介绍BeautifulSoup4的时候，我们知道可以通过bs.div来获取第一个div标签，如果我们需要获取第一个div下的第一个div，我们可以这样：

t = bs.div.div

# 等价于
t = bs.find("div").find("div")

CSS选择器

BeautifulSoup支持发部分的CSS选择器，在Tag获取BeautifulSoup对象的.select()方法中传入字符串参数，即可使用CSS选择器的语法找到Tag:

t_list = bs.select("title")
print t_list     # [<title>\u767e\u5ea6\u4e00\u4e0b\uff0c\u4f60\u5c31\u77e5\u9053</title>]

通过tag标签逐层查找：

t_list = bs.select("body a")
for item in t_list:
    print item

###### 结果如下 #######
<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>
<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>
<a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>
<a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>
<a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>
<a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">更多产品</a>

获取某个Tag下的直接子标签：

t_list = bs.select("head > title")
print t_list    # [<title>\u767e\u5ea6\u4e00\u4e0b\uff0c\u4f60\u5c31\u77e5\u9053</title>]


# 查询body下id=wrapper的所有直接子标签
t_list = bs.select("body > #wrapper")
print t_list    # [<div id="wrapper">...</div>]


# 因为a标签不是body标签下的直接子标签，所以为[]
t_list = bs.select("body > a")
print t_list    # []


# 查询递归4层下的class=mnav的标签
t_list = bs.select("div > div > div > div > .mnav")
for item in t_list:
    print item 

###### 结果如下 #######
<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>
<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>
<a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>
<a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>
<a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>

找到兄弟节点标签：

t_list = bs.select(".mnav ~ .bri")
print t_list    # [<a class="bri" href="//www.baidu.com/more/" name="tj_briicon" style="display: block;">\u66f4\u591a\u4ea7\u54c1</a>]

通过CSS类名来查找：

t_list = bs.select(".mnav")

# 或者
t_list = bs.select("[class=mnav]")
for item in t_list:
    print item

###### 结果如下 #######
<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>
<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>
<a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>
<a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>
<a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>

通过ID来查找：

t_list = bs.select("#head")

# 或者->查找div标签中id=head的标签
t_list = bs.select("div#head")

print t_list    # [<div id="head">...</div>]

通过是否存在某个属性来查找：

# 查找所有包含name属性的所有标签
t_list = bs.select("[name]")

# 或者->查找a标签中有name属性的所有标签
t_list = bs.select("a[name]")

通过属性的值来查找：

# 查找href=https://www.hao123.com的所有标签
t_list = bs.select("[href=https://www.hao123.com]")
print t_list    # [<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>]


# 查找href以https开头的所有标签
t_list = bs.select("[href^=https]")
for item in t_list:
    print item

###### 结果如下 #######
<link href="https://ss1.bdstatic.com/5eN1bjq8AAUYm2zgoY3K/r/www/cache/bdorz/baidu.min.css" rel="stylesheet" type="text/css"/>
<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>


# 查找href以.com结尾的所有标签
t_list = bs.select("[href$=.com]")
for item in t_list:
    print item

###### 结果如下 #######
<a class="mnav" href="http://news.baidu.com" name="tj_trnews">新闻</a>
<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>
<a class="mnav" href="http://map.baidu.com" name="tj_trmap">地图</a>
<a class="mnav" href="http://v.baidu.com" name="tj_trvideo">视频</a>
<a class="mnav" href="http://tieba.baidu.com" name="tj_trtieba">贴吧</a>


# 查找href包含hao123的所有标签
t_list = bs.select("[href*=hao123]")
print t_list    # [<a class="mnav" href="https://www.hao123.com" name="tj_trhao123">hao123</a>]

更多BeautifulSoup4操作：https://www.crummy.com/software/BeautifulSoup/bs4/doc/

玉米丛里吃过亏
关注
专栏目录
BeautifulSoup用法详解1
08-08
Beautiful Soup 的用法上一节我们介绍了正则表达式，它的内容其实还是蛮多的，如果一个正则匹配稍有差池，那可能程序就处在永久的循环之中，而且有的小伙伴
python beautiful soup库的用法
weixin_34127717的博客
03-09 3103
参考：http://cuiqingcai.com/1319.html Beautiful Soup 4.2.0 文档 1. Beautiful Soup 简介 简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下： Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索...
Python常用库——beautifulsoup4
最新发布
weixin_51335227的博客
08-06 1160
简单来说，Beautiful Soup是python的一个库，最主要的功能是从网页抓取数据。官方解释如下：Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，，所以不需要多少代码就可以写出一个完整的应用程序。
Beautiful Soup 基本使用方法
songshao の blog
06-06 6万+
我们就来介绍一个强大的解析工具Beautiful Soup，它借助网页的结构和属性等特性来解析网页。有了它，我们不用再去写一些复杂的正则表达式，只需要简单的几条语句，就可以完成网页中某个元素的提取。 1、简介 简单来说，Beautiful Soup就是Python的一个HTML或XML的解析库，可以用它来方便地从网页中提取数据。官方解释如下： Beautiful Soup提供一些简单的、Py...
超级详细的BeautifulSoup使用方法
zt772612939的博客
09-09 2万+
BeautifulSoup 的使用 我们学习了正则表达式的相关用法，但是一旦正则写的有问题，可能得到的就不是我们想要的结果了，而且对于一个网页来说，都有一定的特殊的结构和层级关系，而且很多标签都有 id 或 class 来对作区分，所以我们借助于它们的结构和属性来提取不也是可以的吗？ 所以，这一节我们就介绍一个强大的解析工具，叫做 BeautiSoup，它就是借助网页的结构和属性等特性来解析网页...
Python爬虫解析器BeautifulSoup4
醉蕤的博客
08-18 1080
Python爬虫解析器BeautifulSoup4
Python模块 - Beautifulsoup中文手册
10-12
### Python模块 - Beautifulsoup中文手册知识点详解 #### 一、BeautifulSoup简介 - **定义**：Beautiful Soup（简称“BS”）是Python语言的一个库，主要用于解析HTML或XML文档，并从中提取所需的数据。 - **作用**...
Python库 | types_beautifulsoup4-4.9.2-py3-none-any.whl
03-25
标题中的"types_beautifulsoup4-4.9.2-py3-none-any.whl"是一个Python库的轮子文件（wheel file），这是Python社区中用于分发和安装Python包的标准格式。这个特定的文件是BeautifulSoup4库的一个类型提示增强版本，...
工具python-3.8.632位
04-20
Python-3.8.6 32位版本是Python语言的一个特定发行版，适用于32位操作系统环境。Python作为一种高级编程语言，因其简洁易读的语法、强大的功能以及广泛的应用场景而受到广大开发者的青睐。32位版本的Python主要面向...
python-3.8.10-amd64.rar
06-29
Python 3.8.10 是 Python 编程语言的一个稳定版本，专为AMD64架构（也称为x86_64或64位）的Windows操作系统设计。这个压缩包"python-3.8.10-amd64.rar"包含了一个用于在Windows上安装Python 3.8.10的可执行文件...
Python-BatchImageDownloader一个使用Python和BeautifulSoup实现的简单图片批量下载器
08-10
Python-BatchImageDownloader是一个利用Python编程语言和BeautifulSoup库实现的简单图片批量下载工具。这个项目主要用于从网页上抓取并下载指定URLs中的所有图片，对于需要收集大量网络图片的用户来说非常实用。以下...
BeautifulSoup4使用总结
qq_39654116的博客
05-01 2698
1.BeautifulSoup4简介 BeautifulSoup4和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。 BeautifulSoup支持Python标准库中的HTML解析器,还支持一些第三方的解析器，如果我们不安装它，则 Python 会使用 Python默认的解析器，lxml 解析器更加强大，速度...
BeautifulSoup库的使用
专注于Python编程技术的分享与交流，致力于帮助开发者提升编程技能，解决实际问题，探索Python的无限可能。
08-13 2116
BeautifulSoup库是python中常用的的网页解析库，灵活，高效，支持多种解析器。可以很方便地实现网页信息的提取。
BeautifulSoup基本用法总结
热门推荐
kikaylee的专栏
02-24 8万+
BeautifulSoup是Python的一个库，最主要的功能就是从网页爬取我们需要的数据。BeautifulSoup将html解析为对象进行处理，全部页面转变为字典或者数组，相对于正则表达式的方式，可以大大简化处理过程。
BeautifulSoup4用法详解
菲宇运维
03-31 1万+
1. Beautiful Soup的简介 Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。 Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。你不需要考虑编码方式，除非文档没有指定一...
BeautifulSoup常用用法详解
qq_42733062的博客
07-12 1259
目录解析库基本使用格式化html获取标签获取属性获取内容嵌套选择获取子节点获取所有的子孙节点获取父节点获取所有的祖先节点获取兄弟节点标准选择器nameattrstextfindfind_parents() find_parentfind_next_siblings() find_next_sibling()find_previous_siblings() find_previous_sibling()find_all_next() find_next()find_all_previous() find_pr
Python常用的几个解析库的学习整理。BeautifulSoup。
07-09 678
这将会是一系列的文章，整理自己之前学习爬虫的各个模块，只是粗略的过一下，介绍部分简单实例。 从接触python爬虫到现在，基本上用过了所有常用的解析库。 lxml,BeautifulSoup,pyquery。当然了，还有re。 个人认为前端基础比较扎实的，用pyquery是最方便的，当然了，beautifulsoup也不错，re速度比较快，但是写正则比较麻烦。 lxml的速度也是...
爬虫知识——第三方库Beautiful Soup4 使用总结
fengzhen8023
09-29 1754
一、Beautiful Soup4简介 这个第三方库可以帮助我们来处理请求下来的HTML页面中的数据，如果你之前有过前端开发的经验或者是熟悉HTML标记语言和CSS语言的话，那么基本上可以无缝对接地使用这个第三方库来帮助你处理数据，继而完成我们的爬虫。 这里我们会给出Beautiful Soup4的中文文档，学习Pyhton到现在，提供这么详细中文文档的第三方库，还真是不多。如果大家想详细了解学习...
BeautifulSoup的使用与入门
qq_46433748的博客
02-21 1782
它支持多种解析器，包括python标准库、lxml HTML解析器、lxml XML解析器、html5lib等。结合稳定性和速度，这里推荐使用lxml HTML解析器。如果lxml不能正确解析内容，这是可以使用html5lib。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值