ip代理服务器8需要云速捷_代理服务器的设置

第四天

代理服务器的设置：有时使用同一个ip去爬取同一个网站上的网页会被屏蔽。现在用Python

用Python 设置代理ip瞒天过海暗度陈仓。

以下是整理好的网址: http://http.zhiliandaili.cn/

import urllib.request

proxy = urllib.request.ProxyHandler({'http':'140.143.156.166:1080'}) # 设置代理服务器

opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler) # 创建 build_opener 对象

urllib.request.install_opener(opener)

html = urllib.request.urlopen("http://www.baidu.com")

print(html.getcode()) # 获取请求状态码

data = html.read().decode('utf-8') # 读取数据并解码

print(len(data))

代码分析

proxy = urllib.request.ProxyHandler({'http':'140.143.156.166:1080'})

使用 ProxyHandler() 方法设置代理服务器信息。参数是一个字典，其“键”为协议类型，“值”为代理服务器地址。可以定义"http"协议 或 "https" 等协议！（注意：这需要根据代理服务器提供的代理服务进行设置）

特别声明：其“键”值切勿写成“http://”、"https://"等格式，因为这样会产生完全不一样的效果。使用此格式时仍然是使用计算机当前的公网IP进行资源获取，而不是使用代理服务器地址，所以如果使用了该格式，后面填写的代理服务地址，不管格式是对是错，代理服务器是否可用，这都与本程序无关。

opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)

使用 build_opener() 方法创建一个自定义 opener 对象。参数1：为代理服务器信息 ；参数2：是 urllib.request.HTTPHandler 类。

urllib.request.install_opener(opener)

使用 install_opener() 方法创建一个全局对象，主要为接下来甚至后面所有的“连接请求”操作提供服务。

html = urllib.request.urlopen("http://www.baidu.com")

调用 urlopen() 方法请求相关资源，注：这里会使用上面 install_opener() 方法创建的 opener 对象进行连接请求，即使用定义好的代理服务器。成功请求到资源后返回给 html 变量。

html.getcode()

获取网页请求的状态码。返回 200 表示请求成功，返回其它表示请求异常！具体可查看页面请求状态码相关知识。

至此，结合“实例输出”可知页面已经请求成功，且获得的页面资源总长度为 109819 个字符。

封装代码

下面对以上 代理服务设置 的代码就行一个函数封装，具体如下：

#!/usr/bin/python3

#-*- coding: utf-8 -*-

import urllib.request

def use_proxy(proxy_addr, url):

"""

功能：设置代理服务器，利用代理服务器请求资源

:param proxy_addr: 代理服务信息 格式：【IP地址：端口】

:param url: 请求页面url地址

:return: 页面 html 代码

"""

proxy = urllib.request.ProxyHandler({'http':proxy_addr})

opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)

urllib.request.install_opener(opener)

data = urllib.request.urlopen(url)

print(data.getcode())

html = data.read()

return html

proxy_addr = "140.143.156.166:1080" # 代理服务器地址

url = "http://www.baidu.com"

data = use_proxy(proxy_addr, url) # 调用函数

print(len(data))

# 写入文件中

fp = open("./aa.html", "wb")

fp.write(data)

fp.close()

提示：在 调用 or 测试 本程序时，应先测试代理服务是否可用，具体可以多获取几个代理服务器地址进行测试。