爬虫01-基本原理（简单理论基础）

1.爬虫基本流程

1. 发起请求
通过HTTP库向目标站点发起请求，即发送一个requests,请求可以包含额外的headers等信息，等待服务器响应。
2. 获取响应内容
如果服务器正常响应，会得到一个response,其内容便是所要获取的页面内容，类型可能有HTML,Json字符串，二进制数据（如图片视频）等类型
3. 解析内容
得到的内容可能是HTML,可以用正则表达式，网页解析库进行解析；可能是Json，可以直接转为Json对象解析；可能是二进制数据，可以做保存或者进一步的处理
4. 保存数据
保存形式多样，可以存为文本，也可以保存至数据库，或者保存为特定格式的文件

2.requests 请求

• 请求方式
  主要有GET、POST两种类型，另外还有HEAD，PUT，FELETE，OPTIONS等
• 请求URL
  URL全称为统一资源定位符，如一个网页文档，一张图片，一个视频等都可以用URL唯一来确定
• 请求头
  包含请求时的头部信息，如User-Agent，Host，Cookies等信息（当做请求的一些配置信息）
• 请求体
  请求额外携带的数据，如表单提交时的表单数据，一般在做get请求时，不会携带任何内容，但在做POST请求时，请求体就是fromdata的形式

response响应

• 响应状态
  有多钟响应状态，如200代表成功，301跳转，404找不到页面，502服务器错误
• 响应头
  如内容类型、内容长度、服务器信息、设置Cookies等
• 响应体
  最主要的部分，包含了请求资源的内容，如网页HTML、图片二进制数据等

3.能抓取什么数据

• 网页文本
  如HTML文档、Json格式文本等
• 图片
  获取到的是二进制文件，保存成图片格式
• 视频
  同为二进制文件，保存为视频格式即可
• 其他
  只要是能请求到的，都能获取

4.解析方式

1.直接处理
2.Json解析
3.正则表达式
4.BeautifulSoup
5.PyQuery
6.Xpath

5.怎样解决JavaScript渲染的问题

在请求到的内容和浏览器页面看到的不一致时，一般是json数据格式，这是用JavaScript渲染的结果，怎么样解决？？

• 分析Ajax请求
  返回的是Json格式的字符串
• Selenium、WebDriver
  自动化操作，模拟操作浏览器
• Splash
  同Selenium差不多，也是模拟浏览器
• PyV8、Ghost.py等

6.保存数据

• 文本
  纯文本、Json、Xmi等
• 关系型数据库
  如MySQL、Oracle、SQL Server等具有结构化表结构形式存储
• 非关系型数据库
  如MongoDB、Redis等Key-Value形式存储
• 二进制文件
  如图片、视频、音频等直接保存才能成特定格式即可

---

题主还不会用Scrapy，不知道Scrapy的思路.
上面的内容是使用解析器提取内容的思路。

这段时间没用过爬虫，趁着总结的机会复习下，因为没有实操，不知现在这些内容是否老旧，唯恐班门弄斧（小白式焦虑），总结以便日后回顾学习，再用到会更新知识不断学习的.