day22 bs4基本用法

一、bs4基本用法

1.创建网页对应的 BeautifulSoup对象

BeautifulSoup9(网页数据，解析器名称)
网页数据 - 需要解析的网页代码
解析器名称 - lxml
html = open(‘data.html’,encoding=‘utf-8’).read()

创建对象

soup = BeautifulSoup(html,‘lxml’)

2.获取标签

soup对象.select(css选择器) - 在整个网页中，取css选择器选中的所有标签，返回值是列表，列表中的元素是标签
soup对象.selece_one(css选择器) - 在整个网页中，获取css选择器选中的标签的第一个标签，返回值是标签对象

标签对象.select(css选择器) - 在指定标签中，获取css选择器选中的所有标签，返回值是列表，列表中的元素是标签
标签对象.select_one(css选择器) - 在指定标签中，获取css选择器选中的标签的第一个标签，返回值是标签对象

reasult = soup.select('p')
print(reasult)

3.获取内容、获取标签属性

1)获取标签内容 - 标签对象.text

a = soup.select_one('div.c1>a')
print(a.text)

2)获取标签属性：标签对象.attrs[属性名]

print(a.attrs['href'])

二、设置浏览器信息

418现象：网页对应的服务器做了身份验证，必须浏览器才能返回数据，如果不是浏览器返回418

import requests
headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko)'}
response = requests.get('https://movie.douban.com/top250',headers = headers)
if response.status_code==200:
    print(response.text)