weixin_43734271的博客

** 如何模拟用户登录爬取知乎 ** import requests # 可以读取本地的cookie送给requests try: import cookielib # Python2中叫cookielib except: import http.cookiejar as cookielib # Python3中叫做cookiej...

** urllib库中包含四个模块 ** urllib.request基本的HTTP请求模块。可以模拟浏览器向目标服务器发送请求。 urllib.error 异常处理模块。如果出现错误，可以捕捉异常。 urllib.parse 工具模块。提供URL处理方法, 比如对URL进行编码和解码。 urllib.robotpaser 用来判断哪些网站可以爬，哪些网站不可以爬。 urlli...

** urllib.request.Handler模块的介绍 ** 首先介绍下 urllib.request.BaseHandler ，它是所有其他 Handler 的父类，它提供了最基本的 Handler 的方法，例 如 default_open() 、 protocol_request() 等。 接下来就有各种 Handler 类继承这个 BaseHandler ，列举如下： HTTPDef...