关于Requests、BeautifulSoup4、etree

检查requests请求代码

res.raise_for_status()
若错误，抛出异常，停止运行

2、requests请求代码正确

res.status_code == request.code.ok

3、调用beautifulsoup

先requests.get获取网址 A = requests.get(“http”)

把对象传入bs4.BeautifulSoup B = bs4.BeautifulSoup(A.text)
获取图片时候要用二进制，用lxml解析(A.content,‘lxml’)
bs4是用来解析网址，选元素的
如果转到了图片页面，直接写入jpg文件A.content就好

再用soup.select选取元素 C = B.select(‘xxxx’) 得到的是一个列表
C[0].getText()返回其中的文本
C[0].attrs返回包含的元素属性及值
C[0].get(‘id’)获取id的属性值

4、beautifulsoup和etree的区别

beautifulSoup用法

res = requests.get("http://wwww.xxx.com")
soup = bs4.beautifulSoup(res.text,'lxml')
A = soup.select('div')
B = soup.select("#author")
#获得的是一个列表
A[1].getText()  #获取文字
B[1].attrs  #获取一个字典表

etree用法

html = requests.get("http://www.xxx.com")
html = driver.page_source
sel = etree.HTML(html)
A = sel.xpath("xxxx")
B = sel.xpath("xxxx")

更详细教程：https://www.cnblogs.com/Estate-47/p/9790305.html