Python爬虫实战——反爬策略之模拟登录【CSDN】

• Python爬虫基础——HTML、CSS、JavaScript、JQuery网页前端技术
• Python爬虫基础——正则表达式
• Python爬虫基础——re模块的提取、匹配和替换
• Python爬虫基础——XPath语法的学习与lxml模块的使用【CSDN】
• Python爬虫进阶——JsonPath使用案例
• Python爬虫进阶——urllib模块使用案例【淘宝】
• Python爬虫进阶——Request对象之Get请求与URL编码【英雄联盟吧】
• Python爬虫进阶——Request对象之post请求案例分析【百度翻译】
• Python爬虫实战—— Request对象之header伪装策略
• Python爬虫实战——反爬策略之代理IP【无忧代理】
• Python爬虫实战——反爬策略之模拟登录【CSDN】
• Python爬虫实战——反爬机制的解决策略【阿里】
• Python爬虫总结——常见的报错、问题及解决方案

在《Python爬虫实战—— Request对象之header伪装策略》中，我们就已经讲到：“在header当中，我们经常会添加两个参数——cookie 和 User-Agent，来模拟浏览器登录，以此提高绕过后台服务器反爬策略的可能性。”
User-Agent已经讲过，这篇我们则主要讲cookie的使用案例。

通俗地讲：***User-Agent的作用是模拟浏览器，cookie的作用是模拟登陆，所以二者合起来，便是模拟浏览器登录啦。***

为了方便理解，现在我们试一下爬取CSDN学院中自己的收藏的课程。

1. 为了验证，我麻溜地瞎收藏了几个课程：

2. 获取cookie：

3. 创建一个request对象：

import urllib.request as ur
import user_agent
import lxml.etree as le

request = ur.Request(
    url