网络爬虫 - 3 IP代理的使用与正则匹配URL

1. 代理

代理服务器有：快代理、西祠代理、芝麻代理、阿布云代理等

（1）浏览器如何设置代理:

​ 以谷歌浏览器为例: 打开设置–>高级–>打开代理设置–>局域网设置–>选择代理服务器

（2）代码中如何设置代理:

import urllib.request

url = 'http://www.baidu.com/s?ie=UTF-8&wd=ip'
handler = urllib.request.ProxyHandler(proxies={
  'http': '218.60.8.98:3129'})
opener = urllib.request.build_opener(handler)

r = opener.open(url)

with open('代理.html', 'wb') as fp:
    fp.write(r.read())

(3) 代理ip池、阿布云使用

import urllib.request
import base64

user = 'HCQ4X00T441PYI5D'
pwd = 'E8C159C7668242ED'

# 将用户名和密码拼接后再转化
string = user + ':' + pwd
# 进行base64编码
ret = 'Basic ' + base64.b64encode(string.encode('utf8')).decode('utf8')
# print(ret)

url = 'http://www.baidu.com/s?ie=UTF-8&wd=ip'
headers = {