Python之使用代理服务器访问网页

最新推荐文章于 2024-07-31 08:30:00 发布

木音子

最新推荐文章于 2024-07-31 08:30:00 发布

阅读量5.5k

点赞数

分类专栏：笔记

本文链接：https://blog.csdn.net/jiangkejkl/article/details/121164521

版权

本文介绍了代理服务器的概念、作用，包括提高访问速度、隐藏真实身份和突破网络限制。详细讲解了HTTP代理和SOCKS代理的区别，并提供了在IE和Firefox中设置HTTP代理的方法。此外，针对Python爬虫，文章阐述了如何利用代理服务器避免IP限制，包括设置代理地址、创建ProxyHandler、创建Opener和安装Opener的四个步骤。

摘要由CSDN通过智能技术生成

什么是代理服务器

代理服务器（Proxy Server）是网上提供转接功能的服务器，在一般情况下，我们使用网络浏览器直接去连接其他Internet站点取得网络信息时，是直接联系到目的站点服务器，然后由目的站点服务器把信息传送回来。代理服务器是介于客户端和Web服务器之间的另一台服务器，有了它之后，浏览器不是直接到Web服务器去取回网页而是向代理服务器发出请求，信号会先送到代理服务器，由代理服务器来取回浏览器所需要的信息并传送给你的浏览器。　　
　　比如你想访问的目的网站是A，由于某种原因你不能访问到网站A或者你不想直接访问网站A（这样通过代理服务器网站A，对网站A而已可以隐藏你自己的身份，也就是不知道是谁访问的网站，而认为是代理服务器访问的），此时你就可以使用代理服务器，在实际访问网站的时候，你在浏览器的地址栏内和你以前一样输入你要访问的网站，浏览器会自动先访问代理服务器，然后代理服务器会自动给你转接到你的目标网站。

代理服务器的作用

提高访问速度：通常代理服务器都设置一个较大的缓冲区，当有外界的信息通过时，同时也将其保存到缓冲区中，当其他用户再访问相同的信息时，则直接由缓冲区中取出信息，传给用户，以提高访问速度。
　　隐藏真实身份：上网者也可以通过代理服务器隐藏自己的真实地址信息，还可隐藏自己的IP，防止被黑客攻击。　　
　　突破限制：有时候网络供应商会对上网用户的端口，目的网站，协议，游戏，即时通讯软件等的限制，使用代理服务器都可以突破这些限制。