Python_爬虫_二

代理

ProxyHandler处理器（代理）

1、代理的原理:在请求目的网站之前，先请求代理服务器，然后让代理服务器去请求目的网站，代理服务器拿到目的服务器的网站数据后，再转发给我们的代码。
2、http://httpbin.org/ip这个网站可以方便我们查看一些http请求参数
3、使用代理的方法：
ProxyHandle这个方法需要传入一个字典，key：请求schema，value：代理服务器ip+端口

from urllib import request
#
# url = 'http://httpbin.org/ip'
# rst = request.urlopen(url)
# print(rst.read())

# 使用代理服务器

    url = 'http://httpbin.org/ip'

# 1、使用ProxyHandler，传入代理构建一个handler
handler = request.ProxyHandler({'http': '113.58.232.168:22'})
# 2、使用上边创建的handler构建一个opener
opener = request.build_opener(handler)
# 3、使用opener去发送一个请求
resp = opener.open(url)
print(resp.read())

##Cookie

Cookie是指网站服务器为了辨别用户身份和进行session跟踪，而储存在浏览器上的文本文件，Cookie可以保持登陆信息到用户下次与服务器的会话。
以人人网为例，人人网中，如果要访问某个用户的主页，必须要登陆才能访问，登陆即是要有cookie信息。我们采用两种方法实现，第一种是使用浏览器访问，然后将cookie信息复制出来，放到header中：
# -- coding: UTF-8 --

from urllib import request

# 大鹏董成鹏的主页：http://www.renren.com/880151247/profile
# 人人网登陆页面：http://www.renren.com/SysHome.do

dapeng_url = 'http://www.renren.com/880151247/profile'
login_url = 'http://www.renren.com/SysHome.do'

headers = {
    'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit'
                  '/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
    'Cookie': 'anonymid=k02impal-tmpd25; depovince=GW; _r01_=1; JSESSIONID=abcYqcqOuNhffcBi8BYZw; ick_login=7c4d0511-c893-42c1-8fda-3564faa28a52; t=0eff0522ab61294e3bc281fe70aa325a0; societyguester=0eff0522ab61294e3bc281fe70aa325a0; id=972132120; xnsid=8dc4e96; jebecookies=9ab2903d-4f30-4a28-93f6-9ba3d660cdc7|||||; ver=7.0; loginfrom=null; jebe_key=19da0328-52ed-4a5e-9d8a-e1f55f4462e0%7C2dde9b9acea3b1be0942f6c86fb36dce%7C1567514411855%7C1%7C1567514413401; jebe_key=19da0328-52ed-4a5e-9d8a-e1f55f4462e0%7C2dde9b9acea3b1be0942f6c86fb36dce%7C1567514411855%7C1%7C1567514413403; wp_fold=0'
}

req = request.Request(url=dapeng_url, headers=headers)
resp = request.urlopen(req)
# print(resp.read().decode('utf-8'))
with open('renren.html', 'w', encoding='utf-8') as f:
    # python3 中，write函数必须写入一个str的数据类型
    # resp.read()返回的是一个bytes数据类型
    # bytes -> decode -> str
    # str -> encode -> bytes
    f.write(resp.read().decode('utf-8'))

    # -*- coding: UTF-8 -*-
    
    from urllib import request
    from urllib import parse
    from http.cookiejar import CookieJar
    

# 大鹏董成鹏的主页：http://www.renren.com/880151247/profile
# 人人网登陆页面：http://www.renren.com/SysHome.do
login_url = 'http://www.renren.com/PLogin.do'
dapeng_url = 'http://www.renren.com/880151247/profile'


def get_openner():
    # 1、创建一个cookiejar对象
    cookiejar = CookieJar()
    # 2、使用cookiejar创建一个HTTPCookieProcessor对象
    handler = request.HTTPCookieProcessor(cookiejar)
    # 3、使用上一步创建的handler创建一个opener
    opener = request.build_opener(handler)
    return opener

def login_renren(opener):
    # 5、使用opener来发送登陆的请求
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit'
                      '/537.36 (KHTML, like Gecko) Chrome/76.0.3809.100 Safari/537.36',
    }
    data = {
        'email': 'xxxxxxxxxxxxx',
        'password': 'xxxxxx'
    }
    req = request.Request(login_url, headers=headers, data=parse.urlencode(data).encode('utf-8'))
    opener.open(req)

def visit_profile(opener):
    # 获取个人页面时，不需新建一个opener
    # 而应该使用之前的那个opener，因为之前的opener已经包含了登陆所需的cookie信息
    req = request.Request(dapeng_url)
    resp = opener.open(req)
    with open('renren1.html', 'w', encoding='utf-8') as f:
        f.write(resp.read().decode('utf-8'))

if __name__ == '__main__':
    opener = get_openner()

    login_renren(opener)
    visit_profile(opener)

保存和读取本地cookie

# -*- coding: UTF-8 -*-

from urllib import request
from http.cookiejar import MozillaCookieJar

cookiejar = MozillaCookieJar('test_cookie.txt')
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)

resp = opener.open('http://httpbin.org/cookies/set?course=test')
cookiejar.save(ignore_discard=True)

# 加载cookie

cookiejar = MozillaCookieJar('test_cookie.txt')
cookiejar.load(ignore_discard=True)
handler = request.HTTPCookieProcessor(cookiejar)
opener = request.build_opener(handler)
resp = opener.open('http://httpbin.org/cookies')
for cookie in cookiejar:
    print(cookie)