解析-BeautifulSoup

解析-BeautifulSoup

1.基本简介

1.BeautifulSoup简称:
	bs4
2.什么是Beatifulsoup?
	Beautifulsoup，和1xm1一样，是一个html的解析器，主要功能也是解析和提取数据
3.优缺点?
    缺点: 效率没有1xm1的效率高
    优点: 接口设计人性化，使用方便

创建对象
服务器响应的文件生成对象
soup = Beautifulsoup(response.read().decode()，"1xml')
本地文件生成对象
soup = Beautifulsoup(open( '1.html'),"1xml')
注意: 默认打开文件的编码格式gbk所以需要指定打开编码格式

BeautifulSoup基本使用

from bs4 import BeautifulSoup

soup = BeautifulSoup(open('spider_解析_bs4基本使用.html', encoding='utf-8'), 'lxml')

# 根据标签名查找节点,找到的是第一个符合条件的数据
# print(soup.a)
# 获取的属性和属性值
# print(soup.a.attrs)

# bs4的一些函数
# find
# 返回的是第一个符合条件的数据
# print(soup.find('a'))

# 根据title的值来找到对应的标签对象
# print(soup.find('a', title="a2"))

# 根据class的值来找到对应的标签对象 注意的是class需要添加下划线
# print(soup.find('a', class_="a1"))

# find_all 返回的是一个列表 并且返回了所有的a标签
# print(soup.find_all('a'))

# limit的作用是查找前几个数据
# print(soup.find_all('li', limit=2))

# select（推荐使用）
# select方法返回的是一个列表 并且会返回多个数据
# print(soup.select('a'))

# 可以通过.代表class 我们把这种操作叫做类选择器
# print(soup.select('.a1'))

# print(soup.select('#l1'))

# 属性选择器---通过属性来寻找对应的标签
# 查找l1标签中有id的标签
# print(soup.select('li[id]'))

# 查找到li标签中id为l2的标签
# print(soup.select('li[id=l2"]'))


# 层级选择器
# 后代选择器
# 找到div下面的li
# print(soup.select('div li'))


# 子代选择器
# 某标签的第一级子标签
# 注意: 很多计算机编程语言中 如果不加空格就不会输出内容 但是在bs4中不会报错可以显示内容
# print(soup.select(('div > ul > li')))

# 找到a标签和li标签的所有的对象
# print(soup.select('a, li'))

# 节点信息
# 获取节点内容
# obj = soup.select('#d1')[0]
# 如果标签对象中 只有内容 那么string和get_text()都可以使用
# 如果标签对象中 除了内容还有标签 那么string就获取不到数据 而get_text()是可以获取数据
# 我们一般情况下 推荐使用get text()
# print(obj.string)
# print(obj.get_text())

# 节点的属性
obj = soup.select('#p1')[0]
# name是标签的名字
# print(obj.name)
# 将属性值作为一个字典返回
# print(obj.attrs)

# 获取节点的属性
print(obj.attrs.get('class'))
print(obj.get('class'))
print(obj['class'])

爬取星巴克菜单网页内容实例

import urllib.request
from bs4 import BeautifulSoup

url = 'https://www.starbucks.com.cn/menu/'

request = urllib.request.Request(url)

response = urllib.request.urlopen(request)

content = response.read().decode('utf-8')

soup = BeautifulSoup(content, 'lxml')

# //*[@class="grid padded-3 product"]//strong
# //*[@class="grid padded-3 product"]//div/@style

name_list = soup.select('ul[class="grid padded-3 product"] strong')
tu_list = soup.select('ul[class="grid padded-3 product"] div')


for i in range(len(name_list)):
    name = name_list[i].get_text().replace('/', '∕')
    img_url = tu_list[i].attrs.get('style').split('"')[1].split('"')[0]
    basic_url = 'https://www.starbucks.com.cn'
    img = basic_url + img_url
    print(name,img)