beautifulsoup4
灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页的提取。
使用方法：
案例代码展示可不看
import requests
from bs4 import *
import re
urls='https://www.dbmeinv.com/' #这是一个urls地址
res=requests.get(urls) #获取网页内容
t=res.text #网页 内容以文本形式赋值给t
#匹配图片地址的正则
# needs=r'https://wx.*?jpg'
# pattern = re.compile(needs)
# need= pattern.findall(t)
#获取标签内容和图片的地址的代码
soup = BeautifulSoup(t,'lxml') # 解析器为lxml
list_img=soup.find('img') #寻找所有的img 标签
print(type(list_img[0])) #获取src属性即 图片的唯一地址
print(list_img[0].get('src'))
for img_src in list_img:
print(img_src.get('src')) #遍历图片的地址
list_url=soup.find_all('a') #寻找所有的a标签
print(type(list_url[0]))
print(list_url[0].get('href'))
for img_url in list_img:
print(img_url.get_text()) #获取a标签中的文本内容
soup=BeautifulSoup(t,'html.parser')
print(soup.find_all('a',class_='sister'))#class是特殊属性，因为class是关键字
print(soup.find_all('a',id='link3'))#用于查找有特定属性的标签
sibling_soup = BeautifulSoup("<a><b id='bbb'>text1</b><b>text2</b></b></a>", 'html.parser')
print(sibling_soup)
print(sibling_soup.find('b',id='bbb')) #获取id为bbb的标签
print(sibling_soup.find('b',id='bbb').next_sibling) #获取id为bbb的标签的下一个b标签
****
使用BeatuifulSoup
引用 BeatuifulSoup
最常用的引用方式
Ps：B S需要大写
from bs4 import BeatuifulSoup
Soup = BeatuifulSoup(“<p>data</p>” , ‘html.parser’)
#两个参数 一个是需要解析的内容 一个是解析器
Soup=BeautifulSoup( open(path,”html.parser”))
BeatuifulSoup 基本元素
标签的认识可以参考html
属性的应用
Demo是一个respose.text
from bs4 import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.title)
#打印出页面的title 包含闭合标签的内容
Tag=soup.a
Print(Tag)#打印a标签的内容包括各种属性
from bs4 import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Soup.a.name #获取a标签的名字
Soup.a.parent.name #霸霸
Soup.a.parent.parent.name #霸霸的霸霸
#对于一个标签可以使用.name 的方式获得他的名字 返回的是一个字符串形式
Tag=soup.a
Print(Tag.attrs)
#返回标签的属性 是一个字典格式
#对信息的提取
Tag.attrs[‘class’] #获取class的值
Tag.attrs[“href”]# 获取href 属性
#Tag的类型 是一个bs4种的一个内置类型
Soup.a.string #a标签内容的属性
#可以跨越多个标签层次即：无视标签内容含有的标签
当标签内容中含有注释的时候
Soup.b.string 会正常打印标签内容无视注释效果
可通过类型判断
Print(type(“Soup.b.string”))
Print(type(“Soup.b.string”))
#基于bs4库中的htm库的遍历方法
from bs4 import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.head)获取head标签
print(Soup.head.contents) #head标签中的儿子标签是title标签
#返回的内容是一个列表
print(Soup.body.contents)#获取body的儿子标签
Print(len(Soup.body.contents)) #获取body标签的儿子标签的数量
Ps：子节点不知包括标签 甚至一些’\n’ 之类的换行符都可以是子节点
可通过列表类型的下表来检索其中的内容
Soup.body.contents[1] #获取第二个元素
#也可以通过for循环遍历
from bs4 import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.title.parent) #打印出title标签的霸霸
print(Soup.html.parent)#html 标签是doc中的最高级标签他的霸霸是他自己包含其中自己的全部内容
print(Soup.parent)#soup本身没有霸霸
这里插入一个方法
Soup.prettify()
#这个方法就是在每个标签后加入一个\n
打印出来是十分规范的h5代码 一目了然
也可以对某个标签做格式化处理
Print(Soup.a.prettify())
会发现标签内容被漂亮的打印出来
标签树的平行遍历是有条件的
Ps：平行遍历发生在同一父节点的各节点间
from bs4 import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.a.next_sibling) #打印出a标签的下一个平行标签
#这里打印出一个’and’类型于之前提到过的’\n’
Print(Soup.a.next_sibling.next_sibling)#打印出a标签的下一个平行标签的下一个平行标签
print(Soup.a.previous)#打印出的是一段文本解释a标签之前的信息
#同时也可以打印出a标签的前前平行标签的信息
print(Soup.a.previous.previous)
find_all方法
Soup.find_all(“a”) #查找所有的a标签
#同时查找a，b标签
Soup.find_all([“a”，”b”])#作为一个列表形式
for tag in Soup.find_all(True):
Print(tag.name)
会打印出所有的标签
Soup.find_all(“p”,”course”) #返回带有 course属性值的所有p标签 （列表）
Soup.find_all(id=link1) #查找id属性为link1的标签元素 （列表）
如果没有会返回一个空列表
beautifulsoup4
灵活又方便的网页解析库，处理高效，支持多种解析器。利用它不用编写正则表达式即可方便地实现网页的提取。
使用方法：
案例代码展示可不看
import requests
from bs4 import *
import re
urls='https://www.dbmeinv.com/' #这是一个urls地址
res=requests.get(urls) #获取网页内容
t=res.text #网页 内容以文本形式赋值给t
#匹配图片地址的正则
# needs=r'https://wx.*?jpg'
# pattern = re.compile(needs)
# need= pattern.findall(t)
#获取标签内容和图片的地址的代码
soup = BeautifulSoup(t,'lxml') # 解析器为lxml
list_img=soup.find('img') #寻找所有的img 标签
print(type(list_img[0])) #获取src属性即 图片的唯一地址
print(list_img[0].get('src'))
for img_src in list_img:
print(img_src.get('src')) #遍历图片的地址
list_url=soup.find_all('a') #寻找所有的a标签
print(type(list_url[0]))
print(list_url[0].get('href'))
for img_url in list_img:
print(img_url.get_text()) #获取a标签中的文本内容
soup=BeautifulSoup(t,'html.parser')
print(soup.find_all('a',class_='sister'))#class是特殊属性，因为class是关键字
print(soup.find_all('a',id='link3'))#用于查找有特定属性的标签
sibling_soup = BeautifulSoup("<a><b id='bbb'>text1</b><b>text2</b></b></a>", 'html.parser')
print(sibling_soup)
print(sibling_soup.find('b',id='bbb')) #获取id为bbb的标签
print(sibling_soup.find('b',id='bbb').next_sibling) #获取id为bbb的标签的下一个b标签
****
使用BeatuifulSoup
引用 BeatuifulSoup
最常用的引用方式
Ps：B S需要大写
from bs4 import BeatuifulSoup
Soup = BeatuifulSoup(“<p>data</p>” , ‘html.parser’)
#两个参数 一个是需要解析的内容 一个是解析器
Soup=BeautifulSoup( open(path,”html.parser”))
BeatuifulSoup 基本元素
标签的认识可以参考html
属性的应用
Demo是一个respose.text
from bs4 import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.title)
#打印出页面的title 包含闭合标签的内容
Tag=soup.a
Print(Tag)#打印a标签的内容包括各种属性
from bs4 import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Soup.a.name #获取a标签的名字
Soup.a.parent.name #霸霸
Soup.a.parent.parent.name #霸霸的霸霸
#对于一个标签可以使用.name 的方式获得他的名字 返回的是一个字符串形式
Tag=soup.a
Print(Tag.attrs)
#返回标签的属性 是一个字典格式
#对信息的提取
Tag.attrs[‘class’] #获取class的值
Tag.attrs[“href”]# 获取href 属性
#Tag的类型 是一个bs4种的一个内置类型
Soup.a.string #a标签内容的属性
#可以跨越多个标签层次即：无视标签内容含有的标签
当标签内容中含有注释的时候
Soup.b.string 会正常打印标签内容无视注释效果
可通过类型判断
Print(type(“Soup.b.string”))
Print(type(“Soup.b.string”))
#基于bs4库中的htm库的遍历方法
from bs4 import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.head)获取head标签
print(Soup.head.contents) #head标签中的儿子标签是title标签
#返回的内容是一个列表
print(Soup.body.contents)#获取body的儿子标签
Print(len(Soup.body.contents)) #获取body标签的儿子标签的数量
Ps：子节点不知包括标签 甚至一些’\n’ 之类的换行符都可以是子节点
可通过列表类型的下表来检索其中的内容
Soup.body.contents[1] #获取第二个元素
#也可以通过for循环遍历
from bs4 import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.title.parent) #打印出title标签的霸霸
print(Soup.html.parent)#html 标签是doc中的最高级标签他的霸霸是他自己包含其中自己的全部内容
print(Soup.parent)#soup本身没有霸霸
这里插入一个方法
Soup.prettify()
#这个方法就是在每个标签后加入一个\n
打印出来是十分规范的h5代码 一目了然
也可以对某个标签做格式化处理
Print(Soup.a.prettify())
会发现标签内容被漂亮的打印出来
标签树的平行遍历是有条件的
Ps：平行遍历发生在同一父节点的各节点间
from bs4 import BeatuifulSoup
Soup = BeatuifulSoup(demo,””html.parser)
Print(Soup.a.next_sibling) #打印出a标签的下一个平行标签
#这里打印出一个’and’类型于之前提到过的’\n’
Print(Soup.a.next_sibling.next_sibling)#打印出a标签的下一个平行标签的下一个平行标签
print(Soup.a.previous)#打印出的是一段文本解释a标签之前的信息
#同时也可以打印出a标签的前前平行标签的信息
print(Soup.a.previous.previous)
find_all方法
Soup.find_all(“a”) #查找所有的a标签
#同时查找a，b标签
Soup.find_all([“a”，”b”])#作为一个列表形式
for tag in Soup.find_all(True):
Print(tag.name)
会打印出所有的标签
Soup.find_all(“p”,”course”) #返回带有 course属性值的所有p标签 （列表）
Soup.find_all(id=link1) #查找id属性为link1的标签元素 （列表）
如果没有会返回一个空列表
1432
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
