python3之urllib代理池

 

1.常见状态吗

301：重定向到新的URL，永久性
302：重定向到临时URL，非永久性
304：请求的资源未更新
400：非法请求
401：请求未经授权
403：禁止访问
404：没找到对应页面
500：服务器内部出现错误
501：服务器不支持实现请求所需要的功能

2.urllib.error应用

浏览器伪装技术

很多网站，做了反爬技术，一般在后台检测请求头信息里是否有User-Agent浏览器信息，如果没有说明不是浏览器访问，就屏蔽了这次请求

所以，我们需要伪装浏览器报头来请求

设置使用urlopen()方法请求自动报头，也就是设置用户代理

install_opener()将报头信息设置为全局，urlopen()方法请求时也会自动添加报头

用户代理池

 

转载于:https://www.cnblogs.com/woshiruge/p/8256987.html