python web页面_Python Web 访问

1.获取web页面

读取一个页面：

import urllib2

req = urllib2.Request('http://www.python.org')

page = urllib2.urlopen(req)

for line in page:

sys.stdout.write(line)

如果Request的网址没带协议的话会报错。

可以使用info()方法获得网页的headers：

import urllib2

req = urllib2.Request('http://www.python.org/')

page = urllib2.urlopen(req)

info = page.info()

print info

执行结果：

>>>

Date: Fri, 12 Jun 2009 13:07:11 GMT

Server: Apache/2.2.9 (Debian) DAV/2 SVN/1.5.1 mod_ssl/2.2.9 OpenSSL/0.9.8g mod_wsgi/2.3 Python/2.5.2

Last-Modified: Fri, 12 Jun 2009 10:01:57 GMT

ETag: "105800d-43bd-46c23cc794f40"

Accept-Ranges: bytes

Content-Length: 17341

Connection: close

Content-Type: text/html

2.认证

dump_info_auth.py展示了如何使用urllib2打开需要验证的页面。

3.提交表单数据

GET方法，可以手工构造url。也可以使用urllib的urlencode方法：

import urllib2, urllib

url = 'http://www.wunderground.com/cgi-bin/findweather/getForecast'

url = url + '?' + urllib.urlencode([('query','shenyang')])

#print url

req = urllib2.Request(url)

page = urllib2.urlopen(req)

info = page.info()

print info

POST方法，与GET方法不同，不能手工构造查询字符串。而需要将数据作为参数传递给urlopen()方法。

import urllib2, urllib

url = 'http://www.wunderground.com/cgi-bin/findweather/getForecast'

data = urllib.urlencode([('query','shenyang')])

req = urllib2.Request(url)

page = urllib2.urlopen(req,data)

info = page.info()

print info

4.处理错误

error_all.py在连接的过程中捕获异常，并且检查文档的长度和Content-Length是否一致。

第7章 解析HTML和XHTML

使用Python自带的HTMLParser模块。下面的程序就可以获得一个文档的title以及标签个数。

# -*- coding: cp936 -*-

from HTMLParser import HTMLParser

import urllib2

#解析网页的title

class TitleParser(HTMLParser):

def __init__(self):

#title的数据

self.title = ''

self.readingtitle = 0

self.count = 0

HTMLParser.__init__(self)

def handle_starttag(self, tag, attrs):

self.count += 1

if tag == 'title':

self.readingtitle = 1

def handle_data(self, data):

if self.readingtitle:

self.title = data

def handle_endtag(self, tag):

if tag == 'title':

self.readingtitle = 0