本文介绍了如何使用Python的Requests库进行网页请求并下载数据，包括get和post方法。接着，通过BeautifulSoup和XPath解析抓取的数据，并重点展示了数据存储部分的暂不涉及。最后，文章概述了核心步骤：网络请求、数据解析和初步存储规划。
过程
页面请求及下载 → \rightarrow →数据解析 → \rightarrow →数据存储
1、页面请求及下载
使用Requests
https://docs.python-requests.org/zh_CN/latest/user/quickstart.html#post
常用的发送请求有两种get和post
r = requests.get(URL， headers=headers)
r = requests.post(URL, data={}, headers=headers)
#加上headers服务器以为我们是正常的页面访问而不是爬虫程序
响应内容：
文本：r.text()
二进制：r.content()
json：r.json()
2、数据解析
- 使用Bs4
- 使用Xpath
3、数据存储
数据库还没学所以先。。pass
扫一扫
3321
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
