python get with proxy

最新推荐文章于 2025-07-16 11:18:25 发布

转载最新推荐文章于 2025-07-16 11:18:25 发布 · 136 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/lexus/archive/2012/12/13/2816295.html

文章标签：

#python

本文介绍了一种使用Python的urllib2模块通过代理服务器抓取特定网站内容的方法。示例代码展示了如何设置代理处理器、认证处理器以及自定义请求头来模拟浏览器行为，最终实现对目标网址的有效访问。

python get with proxy

#!/usr/bin/env python
#encoding=utf-8
import urllib2
url="http://www.qingfanqie.com/Book/BookClass.aspx?classId=79"
#opener.addheaders = [('User-agent', 'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:13.0) Gecko/20100101 Firefox/13.0.1'),('Referer','http://detail.tmall.com/item.htm?id=2 695977920&')]
proxy = urllib2.ProxyHandler({'http': 'http://admin:admin888@10.10.124.33:80'})
auth = urllib2.HTTPBasicAuthHandler()
opener = urllib2.build_opener(proxy, auth, urllib2.HTTPHandler)

urllib2.install_opener(opener)
print urllib2.urlopen(url).read()

posted on 2012-12-13 14:30 lexus 阅读( ...) 评论( ...) 编辑收藏

转载于:https://www.cnblogs.com/lexus/archive/2012/12/13/2816295.html