<python>爬虫入门 BeautifulSoup

BeautifulSoup

Beautiful Soup类的基本元素
Tag：标签，最基本的信息组织单元，分别用<></>表明开头和结尾
Name：标签的名字，< p >…< /p >的名字是‘p’，格式：< tag >.name
Attributes：标签的属性，字典形式组织，格式：< tag >.attrs
NavigableString：标签内非属性字符串，<>…</>中字符串，格式：< tag >.string
Comment：标签内字符串的注释部分，一种特殊的Comment类型

HTML内容遍历方法
标签树的下行遍历
.contents：子节点的列表，将< tag >所有儿子结点存入列表
.children：子节点的迭代类型，与.content类似，用于循环遍历儿子结点
.descendants：子孙节点的迭代类型，包含所有子孙结点，用于循环遍历
标签树的上行遍历
.parent：节点的父亲标签
.parents：节点先辈的标签的迭代类型，用于循环遍历先辈节点
标签树的平行遍历
.next_sibling：返回按照HTML文本顺序的下一个平行结点标签
.previous_sibling：返回按照HTML问题顺序的上一个平行节点标签
.next_siblings：迭代类型，安徽按照HTML文体顺序的后续所有平行节标签
.previous_siblings：迭代类型，返回按照HTML文本顺序的前续所有平行节点标签

最后，为了让html内容更好地显示，可以调用prettify()
soup.prettify()

import requests
from bs4 import BeautifulSoup
url="http://python123.io/ws/demo.html"
r=requests.get(url)
demo=r.text
soup=BeautifulSoup(demo,"html.parser")
print(soup.prettify())