python爬虫（三）：爬虫常用工具包

上一篇爬取bilibili的弹幕进行图云展示：爬取B站《夏洛特烦恼》字幕词云展示，是爬取数据+数据展示结合的范例，这里将介绍爬虫的常用工具；

目录

常用工具

Requests

lxml

BeautifulSoup

tqdm

ffmpy3

matplotlib

seaborn

---

常用工具

数据爬取的3个步骤：下载数据---解析数据---分析数据，里面用到一些常用工具，requests是下载url内容，正则表达式、beautifulsoup和lxml是对html文档解析快速定位想要的内容，tqdm能够显示处理进度，ffmpy处理视频流，matplotlib和seaborn对数据进行可视化分析和展示；

• Requests

requests包提供针对URL的get、put、post、delete等方法模拟交互，response.text返回的是Unicode格式，通常需要转换为utf-8格式，否则就是乱码。response.content是二进制模式，