Python爬虫之request +re

欢迎关注【无量测试之道】公众号，回复【领取资源】,
Python编程学习资源干货、
Python+Appium框架APP的UI自动化、
Python+Selenium框架Web的UI自动化、
Python+Unittest框架API自动化、

资源和代码 免费送啦~
文章下方有公众号二维码，可直接微信扫一扫关注即可。

什么是爬虫？

它是指向网站发起请求，获取资源后分析并提取有用数据的程序；

 

爬虫的步骤：

1、发起请求

使用http库向目标站点发起请求，即发送一个Request

Request包含：请求头、请求体等 

 

2、获取响应内容

如果服务器能正常响应，则会得到一个Response

Response包含：html，json，图片，视频等

 

3、解析内容

解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等

解