爬虫DAY3

付费代理ip

方法一

#coding:utf-8
import urllib.request

#付费的代理发送
#1.用户名密码（带着）
#通过验证的处理器来发送

def money_proxy_use():
    #第一种方式来付费
    #1.代理ip
    money_proxy= {"http":"username:password@192.168.12.11：8080"}
    #2.代理的处理器
    proxy_handler = urllib.request.ProxyHandler(money_proxy)
    #3.通过处理器创建opener
    opener = urllib.request.build_opener(proxy_handler)
    #4.发送请求
    opener.open("http://www.baidu.com")

money_proxy_use()

常用方法二：

#coding:utf-8
import urllib.request

#付费的代理发送
#1.用户名密码（带着）
#通过验证的处理器来发送

def money_proxy_use():

    #第二种方式发送付费的iip地址
    use_name = "abcname"
    pwd = "123456"
    proxy_money = "123.158.63.130:8888"
    #2.创建密码管理器，添加用户名和密码
    password_manger = urllib.request.HTTPPasswordMgrWithDefaultRealm()
    #uri定位  uri>url
    #url  资源定位符
    password_manger.add_password(None,proxy_money,use_name,pwd)
    #3.创建可以验证代理Ip的处理器
    handler_auth_proxy  = urllib.request.ProxyBasicAuthHandler(password_manger)
    #4.根据处理器创建opener
    opener_auth = urllib.request.build_opener(handler_auth_proxy)
    #发送请求
    response = opener_auth.open("http://www.baidu.com")
    print(response.read())



money_proxy_use()

auth认证

公司中可能爬取公司内部的网站做分析数据

HTTPBasicAUthHandler

import urllib.request
def auth_neiwang():
    #1.用户名密码
    user = "admin"
    pwd = "admin123"
    nei_url = "http://192.168.179.66"
    #2.创建密码管理器
    pwd_manger = urllib.request.HTTPPasswordMgrWithDefaultRealm()
    pwd_manger.add_password(None,nei_url,user,pwd)
    #3.创建可以验证代理ip的处理器(requests)
    auth_handler = urllib.request.HTTPBasicAuthHandler(pwd_manger)
    opener = urllib.request.build_opener(auth_handler)
    response = opener.open(nei_url)
    print(response)

auth_neiwang()