Python爬虫思路:
1.明确需求
2.发送请求
- 请求方式:get、post
- 请求URL
- 请求头
- 请求体:请求时额外携带的数据,如表单提交时的表单数据。
3.获取数据
- 响应状态:有多种响应状态,如200代表成功、301跳转、404找不到页面、502服务器错误
- 响应头:如内容类型、内容长度、服务器信息、设置Cookie等。
- 响应体:最主要的部分,包含了请求资源的内容,如网页HTML、图片二进制数据等。
4.解析数据
- 直接处理
- JSON解析
- 正则表达式
- BeautifulSoup
- Parsel
- Xpath/Css
5.存储数据
- 文本:纯文本、Json、Xml等
- 关系型数据库:MySQL、Qrcacle、SQL Server等
- 非关系型数据库:MongoDB、Redis等key-value形式存储
- 二进制文件:图片、视频、音频等直接保存成特定文件格式。