pyhton 爬虫入门(放弃)2

最新推荐文章于 2024-04-29 00:32:14 发布

梦亦殇

最新推荐文章于 2024-04-29 00:32:14 发布

阅读量148

点赞数

分类专栏： python 文章标签： pythn urllib

本文链接：https://blog.csdn.net/weixin_42163525/article/details/84260409

版权

python 专栏收录该内容

8 篇文章 0 订阅

订阅专栏

Urllib高级用法

utlopen 不支持　代理、cookie等其他的高级功能，所以要支持这些功能：

使用相关的Handler处理器，来创建特定的处理器对象实例这个处理器对象为了支持发起Https请求
然后通过 urllib.request.build_opener()方法使用这些处理器对象，创建自定义opener对象；
使用自定义的opener对象，调用open()方法发送请求。
如果程序里所有的请求都使用自定义的opener，可以使用urllib.request.install_opener() 将自定义的 opener 对象定义为全局opener，表示如果之后凡是调用urlopen，都将使用这个opener（根据自己的需求来选择）

urllib代理

    import urllib.request

    # 构建代理Handler
    httpproxy_handler = urllib.request.ProxyHandler(
        {
            "http" : "222.221.11.119:3128",
            "https": "125.32.233.215:8118"
        },
    )

    opener = urllib.request.build_opener(httpproxy_handler)

    request = urllib.request.Request("http://www.baidu.com/")

    # 1. 如果这么写，只有使用opener.open()方法发送请求才使用自定义的代理，而urlopen()则不使用自定义代理。
    response = opener.open(request)

    # 2. 如果这么写，就是将opener应用到全局，之后所有的，不管是opener.open()还是urlopen() 发送请求，都将使用自定义代理。
    # urllib.request.install_opener(opener)
    # response = urlopen(request)

    print (response.read().decode())

urllib 携带cookie

Cookie 是指某些网站服务器为了辨别用户身份和进行Session跟踪，而储存在用户浏览器上的文本文件，Cookie可以保持登录信息到用户下次与服务器的会话。
当客户端第一次请求服务器时，服务器会返回一个请求头中带有Set-Cookie字段的响应给客户端，用来标记是哪一个用户，客户端浏览器会把Cookies保存起来。当浏览器下一次再请求该网站时，浏览器会把此Cookies放到请求头一起提交给服务器，Cookies携带了会话ID信息，服务器检查该Cookies即可找到对应的会话是什么，然后再判断会话来以此来辨认用户状态。
在成功登录某个网站时，服务器会告诉客户端设置哪些Cookies信息，在后续访问页面时客户端会把Cookies发送给服务器，服务器再找到对应的会话加以判断。如果会话中的某些设置登录状态的变量是有效的，那就证明用户处于登录状态，此时返回登录之后才可以查看的网页内容，浏览器再进行解析便可以看到了。
反之，如果传给服务器的Cookies是无效的，或者会话已经过期了，我们将不能继续访问页面，此时可能会收到错误的响应或者跳转到登录页面重新登录。

直接在请求头设置
直接在headers 里设置cookie

创建cookiejar对象管理　存储cookie　值

    from http import cookiejar
    req_cookiejar = cookiejar.Cookiejar()
    # 创建cookiejar管理器
    handler = request.HTTPCookieProcessor(req_cookiejar)
    opener = request.build_opener(handler)
    response = opener.open(request.Request())

 注意：
 1.未发起请求,req_cookiejar 没有保存cookie
 2.当我们发起请求之后 req_cooekiejar 就会保存cookie值
 3.以后使用 opener.open 方法　就会携带 cookie
 4.CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。

cookie库该模块主要的对象有CookieJar、FileCookieJar、MozillaCookieJar、LWPCookieJar。其实大多数情况下，我们只用CookieJar()，如果需要和本地文件交互，就用 MozillaCookjar()
- CookieJar：管理HTTP cookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。
- MozillaCookjar从FileCookieJar派生而来，创建与Mozilla浏览器 cookies.txt兼容的FileCookieJar实例。

栗子：

import urllib.request
import http.cookiejar as cookiejar
from urllib import parse

#1.构造一个CookieJar对象实例来保存cookie
cookie = cookiejar.CookieJar()

# 2.使用HTTPCookieProcessor()创建cookie处理器对象，
# 参数为CookieJar()对象
cookie_handler = urllib.request.HTTPCookieProcessor(cookie)

#3.通过build_opener()来构建opener
opener = urllib.request.build_opener(cookie_handler)

#4.addheaders接受一个列表，里面每一个元素都是一个headers信息的元组
#opener将会附带header信息
opener.addheaders = [
    ('User-Agent','Mozilla/5.0 (Macintosh; Intel Mac OS X 10.12; rv:59.0) Gecko/20100101 Firefox/59.0'),
]

#5.需要登录账号和密码
data = {
    'source': 'index_nav',
    'form_email': '你的账号',
    'form_password': '你的密码',
}

#6. 通过urlencode()转码
postdata = parse.urlencode(data).encode('utf-8')

#7. 构建Request请求对象，包含需要发送的用户名和密码
request = urllib.request.Request("https://www.douban.com/accounts/login", data = postdata)

# 8. 通过opener发送这个请求，并获取登录后的Cookie值，
opener.open(request)

# 9. opener包含用户登录后的Cookie值，可以直接访问那些登录后才可以访问的页面
response = opener.open("https://www.douban.com/")

print(response.status)
html = response.read()