爬虫系列12.BS4修改文档树

修改tag的名称和属性
重命名一个tag,改变属性的值,添加或删除属性:
soup = BeautifulSoup(‘Extremely bold‘)
tag = soup.b

tag.name = "blockquote"
tag['class'] = 'verybold'
tag['id'] = 1
tag
# <blockquote class="verybold" id="1">Extremely bold</blockquote>

del tag['class']
del tag['id']
tag
# <blockquote>Extremely bold</blockquote>

修改 .string
给tag的 .string 属性赋值,就相当于用当前的内容替代了原来的内容:
注意: 如果当前的tag包含了其它tag,那么给它的 .string 属性赋值会覆盖掉原有的所有内容包括子tag

append()
Tag.append() 方法想tag中添加内容,就好像Python的列表的 .append() 方法

NavigableString() 和 .new_tag()
如果想添加一段文本内容到文档中也没问题,可以调用Python的 append() 方法 或调用 NavigableString 的构造方法:
soup = BeautifulSoup(““)
tag = soup.b
tag.append(“Hello”)
new_string = NavigableString(” there”)
tag.append(new_string)
tag
# Hello there.
tag.contents
# [u’Hello’, u’ there’]

如果想要创建一段注释,或 NavigableString 的任何子类, 只要调用 NavigableString 的构造方法:
from bs4 import Comment
new_comment = soup.new_string(“Nice to see you.”, Comment)
tag.append(new_comment)
tag
# Hello there
tag.contents
# [u’Hello’, u’ there’, u’Nice to see you.’]

这是Beautiful Soup 4.2.1 中新增的方法，创建一个tag最好的方法是调用工厂方法 BeautifulSoup.new_tag()，第一个参数作为tag的name,是必填,其它参数选填 :

soup = BeautifulSoup("<b></b>")
original_tag = soup.b

new_tag = soup.new_tag("a", href="http://www.example.com")
original_tag.append(new_tag)
original_tag
# <b><a href="http://www.example.com"></a></b>

new_tag.string = "Link text."
original_tag
# <b><a href="http://www.example.com">Link text.</a></b>

insert()
Tag.insert() 方法与 Tag.append() 方法类似,区别是不会把新元素添加到父节点.contents 属性的最后,而是把元素插入到指定的位置.与Python列表总的 .insert() 方法的用法下同:
markup = ‘I linked to example.com’
soup = BeautifulSoup(markup)
tag = soup.a

tag.insert(1, "but did not endorse ")
tag
# <a href="http://example.com/">I linked to but did not endorse <i>example.com</i></a>.
# [u'I linked to ', u'but did not endorse', <i>example.com</i>]

insert_before() 和 insert_after()
insert_before() 方法在当前tag或文本节点前插入内容:
insert_after() 方法在当前tag或文本节点后插入内容:
soup = BeautifulSoup(“stop“)
tag = soup.new_tag(“i”)
tag.string = “Don’t”
soup.b.string.insert_before(tag)
soup.b
# Don’tstop

clear()
Tag.clear() 方法移除当前tag的内容

extract()
PageElement.extract() 方法将当前tag移除文档树,并作为方法结果返回。

decompose()
Tag.decompose() 方法将当前节点移除文档树并完全销毁

replace_with()
PageElement.replace_with() 方法移除文档树中的某段内容,并用新tag或文本节点替代它

wrap()
PageElement.wrap() 方法可以对指定的tag元素进行包装 [8] ,并返回包装后的结果:
soup = BeautifulSoup(“

I wish I was bold.

“)
soup.p.string.wrap(soup.new_tag(“b”))
# I wish I was bold.

soup.p.wrap(soup.new_tag("div"))
# <div><p><b>I wish I was bold.</b></p></div>

unwrap()
Tag.unwrap() 方法与 wrap() 方法相反.将移除tag内的所有tag标签,该方法常被用来进行标记的解包:
与 replace_with() 方法相同, unwrap() 方法返回被移除的tag
markup = ‘I linked to example.com’
soup = BeautifulSoup(markup)
a_tag = soup.a

a_tag.i.unwrap()
a_tag
# <a href="http://example.com/">I linked to example.com</a>