爬虫第二步：解析数据（2）

BeautifulSoup模块

BeautifulSoup库是Python中用于解析数据与提取数据的网页解析库

1.安装BeautifulSoup模块

Window系统：命令行窗口输入：pip install BeautifulSoup4
Mac系统：命令行输入：pip3 install BeautifulSoup4

2.使用BeautifulSoup解析数据

• 使用格式：
  bs对象 = BeautifulSoup(要解析的文本内容,‘解析器’）
  注意：要解析的内容必须为文本格式
  常用解析器推荐：html.parser

import requests
from bs4 import BeautifulSoup

#第一步：获取数据
an = requests.get('www.4399.com')
#第二步：使用BeautifulSoup模块解析数据
soup = BeautifulSoup(an.text,'html.parser')

#打印an.text的数据类型
print(type(an.text))
#<class 'str'>

#打印解析后的数据类型
print(type(soup))
#<class 'bs4.BeautifulSoup'>

重点需要看第二步，使用BeautifulSoup模块将第一步获取到的数据进行解析，解析后发现数据类型由str类变为BeautifulSoup类