【PYTHON】爬虫思路笔记

Python爬虫思路：

1.明确需求

2.发送请求

3.获取数据

4.解析数据

5.存储数据

---

1.明确需求

2.发送请求

• 请求方式：get、post
• 请求URL
• 请求头
• 请求体：请求时额外携带的数据，如表单提交时的表单数据。

3.获取数据

• 响应状态：有多种响应状态，如200代表成功、301跳转、404找不到页面、502服务器错误
• 响应头：如内容类型、内容长度、服务器信息、设置Cookie等。
• 响应体：最主要的部分，包含了请求资源的内容，如网页HTML、图片二进制数据等。

4.解析数据

• 直接处理
• JSON解析
• 正则表达式
• BeautifulSoup
• Parsel
• Xpath/Css

5.存储数据

• 文本：纯文本、Json、Xml等
• 关系型数据库：MySQL、Qrcacle、SQL Server等
• 非关系型数据库：MongoDB、Redis等key-value形式存储
• 二进制文件：图片、视频、音频等直接保存成特定文件格式。