python 利用urllib2通过指定网页访问url，并捕获内容

为什么80%的码农都做不了架构师？>>>   

# python 2.7.11

import urllib
import urllib2
# 文件编码获取工具
import chardet

# 利用请求的url地址，创建一个url对象
url = urllib2.Request('http://www.baidu.com')
# 访问请求的url对象，并获取一个应答对象（应答对象相当于一个文件对象）
response = urllib2.urlopen(url)
# 利用response的read() 方法获取文件内容
htmlConcent = response.read()

print htmlConcent


#  post 带参数的post请求

url = 'https://gpay.gyyx.cn/'
value = {
    'account': 'da',
    'location': 'SDU',
    'logmain.log': 'python'
}

# 参数编码
data = urllib.urlencode(value)
# 发送请求同时传递参数
req  = urllib2.Request(url, data)
# 接受反馈的信息
response = urllib2.urlopen(req)
# 读取反馈的内容
test  = response.read();


# get 带参数的get请求

data = {}

data['name'] = '张三'
data['pass'] = '李四'
# 参数编码
val_values = urllib.urlencode(data)

url = 'http://www.baidu.com'
# 参数合进url
full_url = url + "?" + val_values
# 打开url
data = urllib2.urlopen(full_url)


# 带header报文头的url 请求
url = 'http://www.someserver.com/cgi-bin/register.cgi'
# 报文头内容
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'WHY',
          'location' : 'SDU',
          'language' : 'Python' }

headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
# 创建Request时加入header 报文头
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()

转载于:https://my.oschina.net/myzyq/blog/638967