bs4的使用

需要安装的，命令窗口： pip install bs4

import requests
from bs4 import BeautifulSoup

# 代理ip
proxy={
    "HTTP": "113.3.152.88:8118",
    "HTTPS": "219.234.5.128:3128",
}
#伪装头
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36',
}
url = "http://langlang2017.com/"
response = requests.get(url=url, proxies=proxy, headers=headers)
content=response.content.decode("utf-8")
#使用BeautifulSoup 对返回的网页内容进行 lxml格式化
soup=BeautifulSoup(content,'lxml')

#返回第一个满足的 只返回一个
print(soup.title) 
#返回<title>....</title> 的所有内容
print(soup.meta)

#attrs返回属性 第一个满足的 只返回一个
meta_dict=soup.meta.attrs
print(meta_dict["charset"])   #取不到报错
print(meta_dict.get("1111"))  #取不到返回None

##string返回文本 第一个满足的 只返回一个
print(soup.title.string)

##contents 所有子节点 列表
print(soup.head.contents)
print(soup.head.contents[0]) #从0开始的

##children 所有子节点 迭代器
print(soup.head.children)
head_diedai=soup.head.children
for i in  head_diedai:
    print(i)

##descendants 所有后代节点 迭代器
print(soup.head.descendants)
for i in  soup.body.descendants:
    print(i)