【爬虫小白】各种请求使用代理的方法

一下以快代理的代理的使用方法作为例子

requests设置代理

import requests

proxy = '127.0.0.1:7777'
proxies={
    'http:http://'+proxy,
    'https:https://'+proxy
}
try:
    response=requests.get('https://baidu.com',proxies=proxies)
    print(response.text)
except requests.exceptions.ConnectionError as e:
    print('Error',e.args)

如果需要认证，在代理的前面加上用户名密码即可，proxy的写法修改，如下：

proxy=“username:password@127.0.0.1:7777"

selenium设置代理

from selenium import webdriver
proxy='127.0.0.1:7777'
options=webdriver.ChromeOptions()
options.add_argument('--proxy-server=http://'+proxy)
browser=webdriver.Chrome(options=options)
browser.get('https://www.baidu.com')
print(browser.page_source)
browser.close()

如果代理是认证代理，则设置方法相对比较麻烦了。需要js脚本，如果需要留言，或私信。这里就不写了，😃😃

aiohttp设置代理

对于aiohttp来说，可以通过proxy参数直接设置即可，如下：

import aiohttp
import asyncio

proxy = 'http://127.0.0.1:7777'


async def main():
    async with aiohttp.ClientSession(connector=aiohttp.TCPConnector(verify_ssl=False)) as session:
        async with session.get('https://baidu.com', proxy=proxy) as response:
            text = await response.text()
            print(text)
if __name__ == '__main__':
    asyncio.get_event_loop().run_until_complete(main())

如果代理有用户名密码，像requests一样设置就可以了。