python笔记-爬虫-04

python笔记

ProxyHandler处理器（代理设置）

• 在使用爬虫的时候，一个IP访问太快，会被加入和名单。使用代理
• 1. 使用ProxyHandler构建一个 handler
• 2. 使用handler创建一个opener
• 3. 使用opener发送请求
     查看本地IP的网址：http://www.httpbin.org/ip

#encodeing : utf-8
from urllib import request
url='http://www.httpbin.org/ip'
# 不使用代理
resp=request.urlopen(url)
print(resp.read())
# 使用代理
# 代理服务器协议和IP及端口号以字典形式传入
hander=request.ProxyHandler({'https':'27.154.34.146:31527'})
opener=request.build_opener(hander)
resp2=opener.open(url)
print(resp2.read())

Cookie：

• 网站中，http请求是无状态的，第一次和服务器连接后，第二次请求服务器不知道第一次是哪个用户，然后就出现了 cookie
• 第一次登录后服务器会返回一些数据给浏览器，浏览器保存样本，第二次会发送储存的cookie。
• 服务器就能判断是哪个用户了，cookie一般不超过4k，所以储存数据很小
• cookie格式：

Set-Cookie:NAME=VALUE:Expires/Max-age=DATE:Path=PATH:Domain=DOMAIN_NAME:SECURE

1. NAME：cookie的名字
2. VALUE：cookie的值
3. Expires：cookie的过期时间
4. Path：cookie的路径
5. Domain：cookie的作用的域名
6. SECURE：是否在https协议下起作用

手动查找Cookie

from urllib import request 
# 创建url
zhihu_url='https://www.zhihu.com/'
headers={
    'user-agent':'你的数据',
    'Cookie':'你的cookie'
}
re=request.Request(url=zhihu_url,headers=headers)
resp=request.urlopen(re)
with open('zhihu.html','w') as fp:
    fp.write(resp.read().decode('utf-8'))

自动登陆处理Cookie

http.cookiejar

# encode:'utf-8'
from urllib import request 
from http.cookiejar import CookieJar
from urllib import parse
# 定义一个访问头
headers={
        'user-agent':'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:75.0) Gecko/20100101 Firefox/75.0'
    }

# 得到一个opener
def get_opender():
    # 登陆
    # 创建一个Cookiejar对象
    cookierjar=CookieJar()
    # 利用Cookirjar创建一个HTTPCookieProcess对象
    headler=request.HTTPCookieProcessor(cookiejar=cookierjar)
    # 创建一个opener
    opener=request.build_opener(headler)
    return opener


#登陆更新cookie
def login_url(opener):
    # 发送登陆请求
    data={
        "email":"电话号码或邮箱",
        "passward":'密码'
    }
    zhihu_url='https://www.zhihu.com/'
    req=request.Request(zhihu_url,data=parse.urlencode(data
    ).encode('utf-8'),headers=headers)
    opener.open(req)

# 访问之乎
def vist_url(opener):
    # 开始访问网站
    luo_url='https://www.zhihu.com/question/396016480'
    req=request.Request(luo_url,headers=headers)
    resp=opener.open(req)
    with open('zhihu.html','w') as fp:
        fp.write(resp.read().decode('utf-8'))


if __name__ == "__main__":
    oppener=get_opender()
    login_url(oppener)
    vist_url(oppener)