词语相似度计算：3、使用urllib爬取wiki文章，使用beautifulSoup解析html

详细介绍参考：

http://blog.csdn.net/mmc2015/article/details/50923309

完整代码供大家参考。。。。

[python]  view plain  copy

 

1. #!usr/bin/env  
2. # -*-coding:utf-8 -*-  
3.   
4.   
5.   
6. import pandas as pd  
7. import numpy as np  
8.   
9. import urllib, urllib2  
10. import re  
11. from bs4 import BeautifulSoup  
12.   
13.   
14. import sys  
15. reload(sys)  
16. sys.setdefaultencoding("utf8")  
17. #for UnicodeEncodeError  
18.   
19.   
20.   
21. def SaveFile(content, filename):  
22.     f=open("wikiData/"+filename,"a")  
23.     f.write(str(content)+"\n")  
24.     f.close()  
25.   
26.   
27. def SpideWiki(words):  
28.     user_agent='Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  
29.     headers={'User-Agent':user_agent}  
30.     try:  
31.         for i in range(len(words)):  
32.             url="https://en.wikipedia.org/wiki/"+words[i]  
33.             request=urllib2.Request(url, headers=headers)  
34.             response=urllib2.urlopen(request)  
35.             wikiHtml=response.read().decode('utf-8')  
36.             html=BeautifulSoup(str(wikiHtml),"lxml")  
37.             div=html.find(name='div', id='mw-content-text')  
38.             ps=div.find_all(name='p', limit=3, recursive=False) #only direct children  
39.             for p in ps:  
40.                 pText=p.get_text()  
41.                 SaveFile(pText, words[i])  
42.             print words[i], "process over...", "=="*20  
43.     except urllib2.URLError, e:  
44.         if hasattr(e,"code"):  
45.             print e.code  
46.         if hasattr(e,"reason"):  
47.             print e.reason