① urllib的代理设置
from urllib.error import URLError
from urllib.request import ProxyHandler, build_opener
‘’’
更多Python学习资料以及源码教程资料,可以在群1136201545免费获取
‘’’
proxy = ‘127.0.0.1:8888’
#需要认证的代理
#proxy = ‘username:password@127.0.0.1:8888’
#使用ProxyHandler设置代理
proxy_handler = ProxyHandler({
‘http’: ‘http://’ + proxy,
‘https’: ‘https://’ + proxy
})
#传入参数创建Opener对象
opener = build_opener(proxy_handler)
try:
response = opener.open(‘http://httpbin.org/get’)
print(response.read().decode(‘utf-8’))
except URLError as e:
print(e.reason)
② requests的代理设置
import requests
proxy = ‘127.0.0.1:8888’
#需要认证的代理
#proxy = ‘username:password@127.0.0.1:8888’
proxies = {
‘http’: ‘http://’ + proxy,
‘https’: ‘https://’ + proxy,
}
try:
response = requests.get(‘http://httpbin.org/get’, proxies=proxies)
print(response.text)
except requests.exceptions.ConnectionError as e:
print(‘Error’, e.args)
③ Selenium的代理使用
- 使用的是PhantomJS
from selenium import webdriver
service_args = [
‘–proxy=127.0.0.1:9743’,
‘–proxy-type=http’,
#‘–proxy-auth=username:password’ #带认证代理
]
browser = webdriver.PhantomJS(service_args=service_args)
browser.get(‘http://httpbin.org/get’)
print(browser.page_source)
- 使用的是Chrome
from selenium import webdriver
proxy = ‘127.0.0.1:9743’
chrome_options = webdriver.ChromeOptions()
chrome_options.add_argument(‘–proxy-server=http://’ + proxy)
chrome = webdriver.Chrome(chrome_options=chrome_options)
chrome.get(‘http://httpbin.org/get’)
④ 在Scrapy使用代理
#在Scrapy的Downloader Middleware中间件里
…
def process_request(self, request, spider):
request.meta[‘proxy’] = ‘http://127.0.0.1:9743’
…
我们可以从互联网中获取免费的代理IP:如:西刺
import requests,random
#定义代理池
一、Python所有方向的学习路线
Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照下面的知识点去找对应的学习资源,保证自己学得较为全面。
二、Python必备开发工具
工具都帮大家整理好了,安装就可直接上手!
三、最新Python学习笔记
当我学到一定基础,有自己的理解能力的时候,会去阅读一些前辈整理的书籍或者手写的笔记资料,这些笔记详细记载了他们对一些技术点的理解,这些理解是比较独到,可以学到不一样的思路。
四、Python视频合集
观看全面零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。
五、实战案例
纸上得来终觉浅,要学会跟着视频一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
六、面试宝典
简历模板![在这里插入图片描述](https://img-blog.csdnimg.cn/646863996ac44da8af500c049bb72fbd.png#pic_center)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!