本文介绍了如何使用Python发起HTTP请求，获取并解析网页内容，特别是针对爬取壁纸站点进行了解析和数据保存。通过第三方库如Beautifulsoup解析HTML，用json模块处理JSON数据，并将二进制数据（如图片）保存到本地。为了提高效率，文章提到直接爬取整套壁纸而非逐张下载。
1、发起请求
使用http库向目标站点发起请求，即发送一个Request
Request包含：请求头、请求体等
Request模块缺陷：不能执行JS 和CSS 代码
2、获取响应内容
如果服务器能正常响应，则会得到一个Response
Response包含：html，json，图片，视频等
3、解析内容
解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等
解析json数据：json模块
解析二进制数据:以wb的方式写入文件
4、保存数据
数据库（MySQL，Mongdb、Redis）
文件
一张一张地找壁纸效率太低，所以直接利用爬虫下载整套。
（1）
（2）
最低0.47元/天 解锁文章
扫一扫
1840
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
