前言
前两天写了博客,然后发到了博客园首页,然后看着点击量一点点上升,感觉怪怪的。
然后就产生了一点好奇:有多少人把博客发表到了首页上?每天博客园首页会发表多少文章?谁发表的文章最多?评论和阅读数量的对应关系是多少?
有了好奇之后,就在想,怎样才能知道答案?
1. 寻路第一步
通过浏览博客园发现,在博客园最多能看到200页。所以,能不能先把这200页给下载下来。之前有写过一篇博客,批量下载图片,所以可以用博客中类似的方法把这些网页下载下来。
from html.parser importHTMLParserimportos,urllib.request,sys#通过博客园NEXT按钮,可以获取下一个网页的地址,这样一直循环,就可以将200个网页下载下来。
#setp 1. 通过解析网页,获取下一个网页的地址。
classLinkParser(HTMLParser):def __init__(self,strict=False,domain=''):
HTMLParser.__init__(self,strict)
self.value=''self.domain=domain
self.next=[]defhandle_starttag(self,tag,attrs):if tag=='a':for i inattrs:if i[0]=='href':
self.value=i[1]defhandle_data(self,data):if data.startswith('Next'):if (self.domain!='' )and ('://' not inself.value):
self.next.append(self.domain+self.value)else:
self.next.append(self.value)#setp 2. 下载当前网页,并根据解析结果,下载下一个网页。
defgetLinks(url,domain):
doing=[url]
done=[]
cnt=0;while len(doing)>=1:
x=doing.pop();
done.append(x)
cnt=cnt+1;print('start:',x)try:
f=urllib.request.urlopen(x,timeout=120)
s=f.read()
f.close()
fx=open(os.path.join(os.getcwd(),'data','{0}.html'.format(str(cnt))),'wb') #需要在当前目录建立data文件夹
fx.write(s)
fx.close()
parser=LinkParser(strict=False,domain=domain)
parser.feed(s.decode())for i inparser.next:if i not indone:
doing.insert(0,i)
parser.next=[]print('ok:',x)except:print('error:',x)print(sys.exc_info())continue
returndoneif __name__=='__main__':
getLinks('http://www.cnblogs.com/','http://www.cnblogs.com/')
2. 从网页抽取信息
网页已经下载下来了,现在需要把信息从网页上抽取出来。
经过分析,每个网页上列出了20条记录,每条记录包含标题,作者,发布时间,推荐等信息。
怎样把这些给抽取出来呢?
先写一个小的程序,看看Python是怎么解析这些数据的:
数据:
10