爬虫使用代理

爬网页的时候，尤其是一些商用网站，如果使用本地IP很容易就会被封掉，因此我们需要在代理网站上购买代理，我使用的是代理太阳代理: http://www.taiyanghttp.com

首先要在IP白名单中加入自己的IP地址

选择ip提取的数量生成api链接
*生成API链接，调用HTTP GET请求即可返回所需的IP结果
*添加白名单接口:
ty-http-d.hamir.net/index/white/add?neek=tyhttp718080&appkey=aab86175bb04bb28e8b197c51821227f&white=您的ip
*删除白名单接口:
ty-http-d.hamir.net/index/white/del?neek=tyhttp718080&appkey=aab86175bb04bb28e8b197c51821227f&white=您的ip（多个ip请用英文逗号隔开）
代理ip地址

import requests

headers = {
    'User-Agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.153 Safari/537.36"}

def get_links(num):
    '''
    生成num个url，返回包含url的列表
    '''
    urls = []
    for i in range(1, num + 1):
        urls.append(f'https://db.yaozh.com/hmap/{i}.html')
    return urls

def get_data(url):
    '''
    抓取url上的数据，并打印请求链接和返回的响应码
    '''
    # 注意：必须添加allow_redirects=False，防止requests被重定向，导致打印的响应码不准确
    res = requests.get(url=url, headers=headers,
                       allow_redirects=False)
    print('当前请求的链接：', res.url)
    print('当前返回的响应码：', res.status_code)
    print('================================================')

def run(num):
    '''爬虫主函数，抓取num个详情页'''
    links = get_links(num)
    for l in links:
        get_data(l)

if __name__ == '__main__':
    run(10)

从结果中可以看出

前五次请求都能正确的返回数据，响应码是200
第六次到第十次，响应码变成了302。

我们用浏览器打开url，结果发现浏览给我跳了验证码页面，我们的IP被封了
封锁IP是反爬的常用手段

代理

import requests
import time
headers = {
        'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.93 Safari/537.36"}

#使用代理
def get_proxy():
    '''
    从代理获取ip封装成proxy字典返回
    '''
    api_url = 'http://http.tiqu.alibabaapi.com/getip?num=1&type=1&neek=554220&port=1&lb=1&pb=4&regions='
    ip = requests.get(api_url).text.strip()

    #如果无法获取ip 抛出一个错误
    if ip =='':
        raise  RuntimeError('无法获取代理ip')
    # 拼装成字典格式
    proxies = {'http': f'http://{ip}'}
    print(proxies)
    return proxies


#url地址
def get_links(num):
    '''

    生成num个url地址返回包含url的列表
    '''
    urls = []
    for i in range(1,num+1):
        urls.append(f'https://db.yaozh.com/hmap/{i}.html')
    return urls
#返回抓取的页面
def get_data(url):
    '''
       抓取url上的数据，并打印请求链接和返回的响应码
    '''

    # 注意：必须添加allow_redirects=False，防止requests被重定向，导致打印的响应码不准确
    proxies = get_proxy()
    res = requests.get(url=url, headers=headers,
                       allow_redirects=False, proxies=proxies)
    time.sleep(3)
    print('当前请求的链接：', res.url)
    print('当前返回的响应码：', res.status_code)
    print('================================================')

def run(num):
    '''爬虫主函数，抓取num个详情页'''
    links = get_links(num)
    for l in links:
        get_data(l)
#程序入口
if __name__ == '__main__':
    run(5)

这个网站访问多了就会限制应该也是反爬的一种目前。使用了代理应该是成功了

本来想用西刺代理来演示的好像打不开了网站

总结
proxies = {‘https’:‘111.231.86.149:57114’}

proxies = {
‘https’:‘111.231.86.149:57114’
‘http’:‘111.231.86.149:57114’
}
如果请求是post的就用https 是get的就用http就行了
向反爬之类的很是棘手比如boos 招聘网站你请求多次就不给你返回数据了