模拟登录与代理设置

cookie和session的区别：

1存储位置不同：
    cookie保存在本地，客户端浏览器上
    session保存在服务器上
2存储容量不同：
    每一个cookie保存的数据不超过4kb，并且一个站点最多保存20个cookie
    session没有容量上限，但是session保存在服务器上，如果session过多，服务器的压力就会过大，处于对服务器性能的闲置太多
3安全性不同
    cookie存在浏览器上，对客户端来说是可见，容易被篡改，安全性较低
    session存在服务器上，安全性较高
4服务器压力不同：
    cookie不会占用服务器的资源，对于并发量较高的网站来说，cookie是一个很好的选择
    session保存在服务器上，会占用资源

代理：
代理实际上指的就是代理服务器，英文叫作proxy server，它的功能是代理网络用户去取得网络信息。形象地说，它是网络信息的中转站。在我们正常请求一个网站时，是发送了请求给web服务器，web服务器把响应传回给我们。如果设置了代理服务器，实际上就是在本机和服务器之间搭建了一个桥，此时本机不是直接向web服务器发起请求，而是向代理服务器发出请求，请求会发送给代理服务器，然后由代理服务器再发送给web 服务器，接着由代理服务器再把web服务器返回的响应转发给本机。这样我们同样可以正常访问网页，但这个过程中web服务器识别出的真实IP就不再是我们本机的IP了，就成功实现了IP 伪装，这就是代理的基本原理，

页面响应类型
一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值。内容一般分为三部分，结构化的数据、半结构化的数据和非结构化数据。
1.结构化数据：
可以用统一的结构加以表示的数据。可以使用关系型数据库表示和存储，表现为二维形式的数据，一般特点是：数据以行为单位，一行数据表示一个实体的信息，每一行的数据的属性是相同的。
2.半结构化数据：
结构化数据的一种形式，并不符合关系型数据库或其他数据表的形式关联起来的数据模型结构，但包含相关标记，用来分隔语义元素以及对记录和字段进行分层。因此他也被成为自描述的结构。常见的半结构数据有：html，xml和json等、实际上是以树或者图的结构来存储的。
3.非结构化数据
就是没有固定的结构。各种文档，图片，视频或者音频都属于非结构化数据。
对于这类数据，我们一般直接整体进行存储，而且一般存储为二进制形式。