14_抓取过程中的常见问题2—cookie的处理

原创 2016年06月01日 18:15:07
  • 登陆的原理

    • 会话(Session)跟踪是Web程序中常用的技术,用来跟踪用户的整个会话。常用的会话跟踪技术是Cookie与Session。

    • web中的身份识别

      • Cookie通过在客户端记录信息确定用户身份,
        Cookie实际上是一小段的文本信息。客户端请求服务器,如果服务器需要记录该用户状态,就使用response向客户端浏览器颁发一个Cookie。客户端浏览器会把Cookie保存起来。当浏览器再请求该网站时,浏览器把请求的网址连同该 Cookie 一同提交给服务器。 服务器检查该 Cookie,以此来辨认用户状态。服务器还可以根据需要修改Cookie的内容。

      • Session通过在服务器端记录信息确定用户身份,
        Session是另一种记录客户状态的机制,不同的是Cookie保存在客户端浏览器中,而Session保存在服务器上。客户端浏览器访问服务器的时候,服务器把客户端信息以某种形式记录在服务器上。这就是Session。客户端浏览器再次访问时只需要从该Session中查找该客户的状态就可以了。
        如果说Cookie机制是通过检查客户身上的“通行证”来确定客户身份的话,那么Session机制就是通过检查服务器上的“客户明细表”来确认客户身份。Session相当于程序在服务器上建立的一份客户档案,客户来访的时候只需要查询客户档案表就可以了。

  • 登录的方法

    • FormRequest:使用用户名和密码登陆
    • 添加Cookie:添加cookie到Request当中
  • cookie的处理

    • cookies middleware
    • 手动定制:在spider中定制包含cookies的Request
  • 总结:
    1. 掌握使用formRequest登录的方法;
    2. 掌握使用cookies模拟登录者的方法;
版权声明:本文为博主原创文章,未经博主允许不得转载。

EZ Publish安装过程中常见问题详解

  • 2011年07月20日 17:12
  • 315KB
  • 下载

vue2.0总结 --- vue使用过程中的常见问题

Vue目前的开发模式主要有两种 1.直接页面级的开发,script直接引入Vue 2.工程性开发,webpack+loader或者直接使用脚手架工具Vue-cli,里面的文件都配置好了,webpack...
  • jian_xi
  • jian_xi
  • 2017年04月19日 11:27
  • 7178

matlab使用过程中的常见问题解答

  • 2013年07月13日 14:34
  • 191KB
  • 下载

Android系统编译过程中常见问题汇总(1)

作者:徐文 1、问题一:/bin/bash: bison: 未找到命令  解决方法:$ sudo apt-get install bison   2、问题二: You are attempt...

使用EAS BOS过程中常见问题

  • 2011年09月02日 12:02
  • 4.35MB
  • 下载

Ajax技术(5)--Ajax使用过程中常见问题汇总

在看文章前,先指定一个通用的变量xhr,xhrajax对象。测试浏览器:ie为ie6,firefox为2,其他的未测试。统称ie6为ie,firefox2为ff。 最经典的就是ie下的缓存问题了...

【Unity】最近整理Unity4.x 项目升级Unity5.0 过程中出现的各种常见问题,与大家共享。

最近整理Unity4.x 项目升级Unity5.0 过程中出现的各种常见问题,与大家共享。   1:Unity4.x 项目中3D模型其材质丢失,成为“白模”?       解决方案:手工重新赋值材质...

Liferay开发过程中的一些常见问题

怎么获取HttpServletRequest 在一些特殊情况下,我们希望在portlet中使用原生的httpServletRequest,可以使用下面的代码获取,下面分别是renderRequest...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:14_抓取过程中的常见问题2—cookie的处理
举报原因:
原因补充:

(最多只允许输入30个字)