本次主要讨论三个问题:
1. 爬虫到底是个什么东西? 怎么爬?
2. 爬虫的重点:会话、Cookies
3. 不让我们爬咋整?
什么是爬虫
如果将互联网比作一个蜘蛛网,爬虫就是蜘蛛。
每个蜘蛛网的节点都是一个html页面。蜘蛛爬到了这个节点就得到了这个页面的信息。
通过对页面的分析提取,我们就获得了自己想要的信息。(后期详细介绍)
蜘蛛不停地顺着蜘蛛网爬,就不停的在互联网中获取信息。
爬完一张网,就相当于抓取了这个网站的数据。
会话、Cookies
首先我们来了解一下 “无状态HTTP”
无状态http是指当我们向服务器发送请求时,服务器处理我们的请求,但不会记录我们的状态。这个过程时完全独立的,这就导致想要继续处理前面的问题时需要重传,显然这不是我们希望发生的情况。于是便应运而生了两门技术:会话、Cookies
会话:在服务端(服务器),保存用户的会话信息。相当于一个保存用户本次访问信息的保险柜。
Cookies: 在客户端(浏览器),访问会话的凭证。相当于保险柜的密码。
当用户二次请求时,会携带Cookies,继续进行自己的会话。
不让爬怎么办
当我们对一个网站访问的频率过高时,会导致IP被封禁。
我们可以使用代理服务器(中转站),对网站进行访问。