python爬虫学习

python爬虫学习

一、Beautiful Soup库

1、引用
from bs4 import BeautifulSoup

from bs4 import BeautifulSoup
soup = BeautifulSoup('<p>data</p>', 'html.parser')

2、BeautifulSoup类的基本元素

Tag 标签，最基本的信息组织单元，分别用<>和

for child in soup.body.children:
    print(child)
for child in soup.body.descendants:
    print(child)
遍历儿子节点
遍历子孙节点

**注意！！！ 下行遍历需要 增加一个 if isinstance(child, bs4.element.Tag):
筛掉 \n换行符 等其他不是标签的元素**

5、上行遍历
.parent
.parents

6、平行遍历
.next_sibling 返回按照HTML文本顺序的下一个平行节点标签
.previous_sibling 返回按照HTML文本顺序的上一个平行节点标签
.next_siblings 迭代类型，返回按照HTML文本顺序的后续所有平行节点标签
.previous_siblings 迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

标签树的平行遍历
for sibling in soup.a.next_sibling:
print(sibling)
for sibling in soup.a.previous_sibling:
print(sibling)
遍历后续节点
遍历前续节点

注意！！！平行遍历是遍历节点，所以包括字符串等

7、bs4的prettify()方法