python抓取初步尝试

pattern用了示例中例子，发现有些不对，自己修改了一下pattern

import urllib
import urllib2
import re

page =1
url = "xxxxxxxx"+str(page)

user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
headers={'User-Agent' : user_agent }

try:
    request = urllib2.Request(url,headers=headers)
    response = urllib2.urlopen(request)
    # filehandler = open("qiushi.html","w")
    # filehandler.write(response.read())
    content = response.read()

    #the original filter
    # pattern = re.compile('<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>(.*?)</a>.*?<div.*?class' +
    #                      '="content".*?title="(.*?)">(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',
    #                      re.S)

    pattern = re.compile('<div.*?class="author.*?>.*?<a.*?</a>.*?<a.*?>.*?<h2>(.*?)</h2>.*?</a>.*?<div.*?class="content".*?<span>(.*?)</span>(.*?)</div>(.*?)<div class="stats.*?class="number">(.*?)</i>',
                         re.S)


    items = re.findall(pattern, content)
    for item in items:
        print item[0]
        print item[1]
        print item[4]

    #print  response.read()
except urllib2.URLError,e:
    if hasattr(e,"code"):
        print e.code
    if hasattr(e,"reason"):
        print e.reason

返回结果如下（只列举部分内容）：

八妹~小尤物
今天我姐和我说，她丢人丢大发了。我问她怎么了，她说她带小外甥去游乐场玩，也想玩那种滚筒式的滑滑梯。趁工作人员不注意就滑了一下，没想到卡在了中间，几个工作人员费了好大的劲才把她拔出来！
5044
好笑人
超市打折。。。
374
匪徒~宠儿
经理带着他的宠物狗来公司，狗狗跑到我办工桌下蹲着就不走了。不管经理怎么叫也不出来，于是经理对狗狗说：“她不是单身狗，她有男朋友了。”   那狗成精了，爬起来就跑。。
4222
如风（^_^）
早起停电，老妈打电话问，答复是电路故障。我手机没电有点捉急，老妈说，不要急啊，电工一定第一时间修好的，他老婆在附近开了小饭馆，没电做不了饭，他比你急……
2593
八妹~小尤物
晚上我爸打电话给我，着急的说:“你妈出去买宵夜了，出门两个小时了还没回来，手机也打不通。”<br/>当时我就急了，说咋办啊？<br/>我爸说:“你快打电话给她，真怕她吃完了空着手回来！”
2833