主要是学习一下正则,实现了最基本的功能,抓取热门的第一页,在此基础上还可以再发挥发挥。
import urllib.request
import re
data = urllib.request.urlopen('http://www.qiushibaike.com/hot/page/1').read()
prog = re.compile('<div class="content" title="(.*?)">(.*?)</div>',re.S)
prog2 = re.compile('<div.*?class="content".*?title="(.*?)">\\n(.*?)</div',re.S)
result = re.findall(prog2,data.decode('utf-8'))
for v in result:
print (v[0],v[1])