python 使用免费爬取百度首页 网页 简单案例

#coding:utf8
import urllib2

url="http://www.baidu.com/"

# 代理开关，表示是否启用代理
# 西刺代理网址 http://www.xicidaili.com/
proxyswitch=True

# 构建一个Handler处理器对象，参数是一个字典类型，包括代理类型和代理服务器IP+PORT
httpproxy_handler=urllib2.ProxyHandler({"http":"61.155.164.108:3128"})

# 构建一个没有代理的处理器对象
nullproxy_handler=urllib2.ProxyHandler({})

# 当proxyswitch=True，则使用代理，为FALSE，则不使用代理
if proxyswitch:
    opener=urllib2.build_opener(httpproxy_handler)
else:
    opener=urllib2.build_opener(nullproxy_handler)

#构建一个全局的opener，之后所有的请求都可以用urlopen()方式发送，也附带Handler的功能
urllib2.install_opener(opener)

request=urllib2.Request("http://www.baidu.com/")
response=urllib2.urlopen(request)

print response.read()