01-爬虫前导知识

爬虫前导知识

端口

我们想要进⾏数据通讯分⼏步?

• 1.找到对⽅ip
• 2.数据要发送到对⽅指定的应⽤程序上。为了标识这些应⽤程序,所以给这些⽹络应⽤程序都⽤数字进⾏了标识。为了⽅便称呼这个数字,叫做端⼝。这⾥的端⼝我们⼀般都叫做’逻辑端⼝’
• 3.定义通讯规则。这个通讯规则我们⼀般称之为协议

---

---

通讯协议

• 国际组织定义了通⽤的通信协议TCP/IP协议
• 所谓协议就是指计算机通信⽹络中两台计算机之间进⾏通信所必须共同遵守的规定或规则
• HTTP⼜叫做超⽂本传输协议（是⼀种通信协议）HTTP它的端⼝是80

---

---

网络模型

后期又更新了新的参考模型TCP/IP参考模型
（后期跟新后）

（运行原理）

---

https的介绍

• https=http+ssl，顾名思义，https是在http的基础上加上了SSL保护壳，信
  息的加密过程就是在SSL中完成的

• https，是以安全为⽬标的HTTP通道，简单讲是HTTP的安全版。即HTTP下加⼊SSL层，HTTPS的安全基础是SSL

---

SSL的介绍

• SSL也是一个协议主要用于web的安全传输协议。
  （SSL协议）

---

Http 请求与响应

HTTP通信由两部分组成：客户请求消息 与 服务器响应消息

1. 当⽤户在浏览器的地址栏中输⼊⼀个URL并按回⻋键之后，浏览器会向HTTP服务器发送HTTP请求。HTTP请求主要分为“Get”和“Post”两种⽅法。

2. 当我们在浏览器输⼊URL http://www.baidu.com 的时候，浏览器发送⼀个 Request请求去获取 http://www.baidu.com 的html⽂件，服务器把 Response⽂件对象发送回给浏览器。

3. 浏览器分析Response中的 HTML，发现其中引⽤了很多其他⽂件，⽐如 Images⽂件，CSS⽂件，JS⽂件。 浏览器会⾃动再次发送Request去获取 图⽚，CSS⽂件，或者JS⽂件。

4. 当所有的⽂件都下载成功后，⽹⻚会根据HTML语法结构，完整的显示出来了。

---

客户端的Http请求

• URL只是标识资源的位置，⽽HTTP是⽤来提交和获取资源。客户端发送一个HTTP请求到服务器的请求消息，包括以下格式：

• 请求⾏、请求头部、空⾏、请求数据 四个部分组成，下图给出了请求报⽂的⼀般格式。
  

一个典型的HTTP请求实例

---

请求方法

• 根据HTTP标准，HTTP请求可以使⽤多种请求⽅法。

• HTTP 0.9：只有基本的⽂本 GET 功能。
• HTTP 1.0：完善的请求/响应模型，并将协议补充完整，定义了三种请求⽅法：
  GET, POST 和 HEAD⽅法。
• HTTP 1.1：在 1.0 基础上进⾏更新，新增了五种请求⽅法：OPTIONS, PUT,DELETE, TRACE 和 CONNECT ⽅法。
• HTTP 2.0（未普及）：请求/响应⾸部的定义基本没有改变，只是所有⾸部键必须全部⼩写，⽽且请求⾏要独⽴为 :method、:scheme、:host、:path这些键值对。

---

---

---

爬虫介绍

什么是爬虫？

• 简单⼀句话就是代替⼈去模拟浏览器进⾏⽹⻚操作

---

爬虫的作用

• 为其他程序提供数据源 如搜索引擎(百度、Google等)、数据分析、⼤数据等等

---

企业获取数据的方式

• 1.公司⾃有的数据
• 2.第三⽅平台购买的数据 (百度指数、数据堂)
• 3.爬⾍爬取的数据

---

Python做爬虫的优势

• PHP : 对多线程、异步⽀持不太好
• Java : 代码量⼤，代码笨重
• C/C++ : 代码量⼤，难以编写
• Python : ⽀持模块多、代码简介、开发效率⾼ (scrapy框架）

爬虫的分类

• 通⽤⽹络爬⾍ 例如 baidu google yahu
• 聚焦⽹络爬⾍: 根据既定的⽬标有选择的抓取某⼀特定主题内容
• 增量式⽹络爬⾍: 指对下载⽹⻚采取增量式的更新和只爬⾏新产⽣的或者已经发⽣变化的⽹⻚爬⾍
• 深层⽹络爬⾍: 指那些⼤部分内容不能通过静态链接获取的、隐藏在搜索表单后的，只有⽤户提交⼀些关键词才能获得的web⻚⾯ 例如 ⽤户登录注册才能访问的⻚⾯

---

---

几个概念

GET和POST

• GET : 查询参数都会在URL上显示出来 （例如网页浏览中用到get请求）
• POST : 查询参数和需要提交数据是隐藏在Form表单⾥的,不会在URL地址上显示出来（例如在登录界面上使用到post请求）

---

URL组成部分

• URL: 统⼀资源定位符
• https://new.qq.com/omn/TWF20200/TWF2020032502924000.html
• https: 协议
• new.qq.com: 主机名可以将主机理解为⼀台名叫 news.qq.com 的机器。这 台主机在 qq.com 域名下（省略了端口号）
• port 端⼝号: 80 /new.qq.com 在他的后⾯有个 :80 可以省略
• TWF20200/TWF2020032502924000.html 访问资源的路径
• #anchor: 锚点⽤前端在做⻚⾯定位的

• 注意 : 在浏览器请求⼀个url,浏览器会对这个url进⾏⼀个编码。(除英⽂字 ⺟、数字和部分标识其他的全部使⽤% 加 ⼗六进制码进⾏编码) 。例如 :
  。https://tieba.baidu.com/f?ie=utf8&kw=%E6%B5%B7%E8%B4%BC%E7%8E%8B&fr=search
  。%E6%B5%B7%E8%B4%BC%E7%8E%8B = 海贼王

---

User-Agent:

• 作用：记录⽤户的浏览器、操作系统等,为了让⽤户更好的获取HTML⻚⾯效果

User-Agent:

Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML,
like Gecko) Chrome/78.0.3904.108 Safari/537.36

• Mozilla Firefox：(Gecko内核)

Referer

• 表明当前这个请求是从哪个url过来的。⼀般情况下可以⽤来做反爬的技术

www.360buy.com / www.jd.com 301(永久重定向)
https://www.zhihu.com/ https://www.zhihu.com/signin?next=%2F 302(临时重定向)

状态码

200 : 请求成功
301 : 永久重定向
302 : 临时重定向
404 : 请求失败(服务器⽆法根据客户端的请求找到资源（⽹⻚）)
500 : 服务器内部请求

抓包⼯具

• Elements : 元素 ⽹⻚源代码，提取数据和分析数据(有些数据是经过特殊处理的所以并不是都是准确的)
• Console : 控制台 (打印信息)
• Sources : 信息来源 (整个⽹站加载的⽂件)
• NetWork : ⽹络⼯作(信息抓包) 能够看到很多的⽹⻚请求

抓包使用

1打开谷歌浏览器加载的网页单机鼠标选择检查选项

2.点击Network

3.刷新网页

4.点击链接
（117 requests 117条链接）
5.信息反馈