python request_Python爬虫之request +re

什么是爬虫？

它是指向网站发起请求，获取资源后分析并提取有用数据的程序；

爬虫的步骤：

1、发起请求

使用http库向目标站点发起请求，即发送一个Request

Request包含：请求头、请求体等 

2、获取响应内容

如果服务器能正常响应，则会得到一个Response

Response包含：html，json，图片，视频等

3、解析内容

解析html数据：正则表达式(RE模块)，第三方解析库如Beautifulsoup，pyquery等

解析json数据：json模块

解析二进制数据：以wb的方式写入文件

4、保存数据

数据库(MySQL，Mongdb、Redis)文件

废话不多说，直接上代码截图(本文以抓取猫眼网站电影数据为示例)：

以下是执行后输出的结果：

备注：代码截图中有详细的注释信息，所以不在文中再来说明代码中的用法。

感兴趣的同学，不妨依据代码截图，自己照着敲一遍，让程序跑起来，感受下爬虫Python之request +re的魅力吧，有任何疑问可以在文章下方点击“写留言”来给我留言哟~

如果你觉得文章不错的话，分享、收藏，在看，关注、打赏将会是对我的最大支持，也是我持续更新的最大动力

更多精彩内容请关注我们

友情提示：“无量测试之道”原创著作，欢迎关注交流，禁止第三方转载。更多原创文章请扫码关注查看，合作请联系：loadkernel@126.com。

热文精选：

• IOS App如何调用python后端服务

• Python UI自动化测试实操

• Python API自动化测试实操(高清版配图)

• JavaScript如何调用Python后端服务

• Python之大数据库hive实战

• ETL(大数据)测试实战篇(二)

• Flask 轻量web框架

• 大数据学习之环境构建

写留言