Python爬虫入门之request函数定制

爬虫入门 -  定制合适的请求函数

（以下代码仅供参考和学习使用，勿非法使用，thx）

#coding=utf-8

import time
import random

from requests.exceptions import *
from requests import request

'''
example:

options = {
    'method':'get',
    'url':'http://www.eprc.com.hk/EprcWeb/multi/transaction/login.do',
    'form':None,
    'params':None,
    'cookies':None,
    'headers':headers,
}
response = basicRequest(options)

'''

def basicRequest(options,resend_times=3):
    '''
    :param options: 请求参数
    :param resend_times: 重发次数
    :return: response对象或False
    '''

    # proxies = {'http':'http://127.0.0.1:8888','https':'http://127.0.0.1:8888'}
    options['timeout'] = options['timeout'] if 'timeout' in options.keys() else 3

    try :
        response = request(
            options['method'],
            options['url'],
            verify = True,
            timeout = options['timeout'],
            # proxies = proxies,
            data  = options['form'],
            params = options['params'],
            cookies = options['cookies'],
            headers = options['headers']
        )
    except Timeout :
        if resend_times > 0 :
            time.sleep(random.uniform(0,2))
            options['timeout'] += 3
            return basicRequest(options, resend_times-1)
        else:
            return False
    except RequestException :
        if resend_times > 0 :
            time.sleep(random.uniform(0,2))
            return basicRequest(options, resend_times-1)
        else :
            return False
    else :
        return response

afanty 的分析：

对request的函数进行了函数包装，参数都是一个demo，这样便于开发，同时对异常的处理可以自己来指定。