糗百爬虫

#coding:utf-8
from Tkinter import * 
import urllib
import urllib2
import re
#隐藏用户名并打开页面
name=raw_input('请输入所想保存的文件名：')
num=raw_input('请输入所想访问的页面：')
net='http://www.qiushibaike.com/hot/page/'+str(num)+'/'
header={'User-Agent':'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.95 Safari/537.36 Core/1.50.1280.400 QQBrowser/9.5.9118.400'}
obj=urllib2.Request(net,headers=header)#IOError: ('http protocol error', 0, 'got a bad status line', None)
page=urllib2.urlopen(obj)
html=page.read()
#通过正则表达式匹配数据
reg1=r'<div class="content">.*?<span>(.*?)</span>.*?</div>.*?</a>(.*?)<div class="stats">.*?</i>'
robj1=re.compile(reg1,re.S)
wordlist=robj1.findall(html)  
#写入文件，进行文件操作
file=open(str(name),'w')
count=1
for i in wordlist:
    file.write(str(count)+".")
    file.write(i[0].replace('<br/>','\n'))
    file.write('\n')
    if i[1]:
        file.write('\n')
        file.write(i[1])
    count+=1

file.close()

比较简陋，随便写的，爬糗百一定要改用户名否则上不去。