Python爬虫代理IP(1)

定义

代替原来的IP去对接网络的IP

作用

隐藏自身真实IP，避免被目标网站封掉

分类

高匿代理	web站点只能看到代理ip
普通代理	web站点知道这次请求是有人通过代理IP访问的，但不知道用户的真实ip
透明代理	web站点既能看到代理IP，又能看到用户的真实IP

获取代理IP的网站

快代理、精灵IP、oxylabs、豌豆http

语法

proxies = {'协议':'协议'//IP:端口号'}

示例

proxies = {
    'http':'http'//IP:端口号',
    'https':'https'//IP:端口号',
}

 

私密代理和独享代理

特点

私密代理、独享代理使用需要用户名和密码的认证

用户名和密码在对应代理IP网站上查找

语法

proxies = {'协议':'协议://用户名:密码@IP:端口号'}

 

 微信没钱了，所以这个就不演示了，用发和上面的免费代理是差不多的，只是改一下froxies里面的东西就行了。