python 抓取腾讯微博数据并做简单的分析 .

利用python去读取腾讯微博中某个人的数据，统计和他相关的一些连接，并对每个打印每个连接的数据，本人采用的python版本为3.3.

[python] view plain copy print ?

1. from html.parser import HTMLParser    
2. import urllib.request  
3. import re  
4.   
5. pattern = re.compile(r'http://t.qq.com/*?')  
6.   
7. class MyParser(HTMLParser):  
8.       
9.     a_txt =False  
10.     total  = 0  
11.     sample_list = []  
12.     def inputSelfAddress(self, name):  
13.         self.sample_list.append(name)  
14.     def __init__(self):  
15.        HTMLParser.__init__(self)          
16.          
17.     def handle_starttag(self, tag, attrs):  
18.         if tag=='div':   
19.            for name,value in attrs:  
20.                if (name == 'class')and(value == 'msgCnt'):  
21.                      self.a_txt=True  
22.         if tag=='a':  
23.             for name, value in attrs:  
24.                 if(name == 'href'):  
25.                      match = pattern.match(value)  
26.                      if(match):  
27.                          if value in  self.sample_list:  
28.                              return  
29.                          else:  
30.                             self.total=self.total+1  
31.                             self.sample_list.append(value)  
32.               
33.     def handle_data(self, data):  
34.          if self.a_txt:    
35.             print (data)   
36.             self.a_txt=False   
37. headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11')  
38. opener = urllib.request.build_opener()  
39.   
40. opener.addheaders = [headers]  
41.   
42. strAddress = "http://t.qq.com/xiaoRainie"  
43. fp =opener.open(strAddress)  
44.   
45. mybytes = fp.read()  
46. mystr = mybytes.decode("utf8")  
47. fp.close()  
48. myparser = MyParser()  
49. myparser.inputSelfAddress(strAddress)  
50. myparser.feed(mystr)   
51.   
52. print("总数：", myparser.total-11)  
53. for i in range(int(myparser.total), 1, -1):  
54.     print(myparser.sample_list[i-1])  
55. print("结束")  
56. for i in range(int(myparser.total), 1, -1):  
57.     fp =opener.open(myparser.sample_list[i-1])  
58.     myparser.inputSelfAddress(myparser.sample_list[i-1])  
59.     mybytes = fp.read()  
60.     mystr = mybytes.decode("utf8")  
61.     fp.close()  
62.     myparser = MyParser()    
63.     myparser.feed(mystr)  
64.   
65.       

from html.parser import HTMLParser  
import urllib.request
import re

pattern = re.compile(r'http://t.qq.com/*?')

class MyParser(HTMLParser):
    
    a_txt =False
    total  = 0
    sample_list = []
    def inputSelfAddress(self, name):
        self.sample_list.append(name)
    def __init__(self):
       HTMLParser.__init__(self)        
       
    def handle_starttag(self, tag, attrs):
        if tag=='div': 
           for name,value in attrs:
               if (name == 'class')and(value == 'msgCnt'):
                     self.a_txt=True
        if tag=='a':
            for name, value in attrs:
                if(name == 'href'):
                     match = pattern.match(value)
                     if(match):
                         if value in  self.sample_list:
                             return
                         else:
                            self.total=self.total+1
                            self.sample_list.append(value)
            
    def handle_data(self, data):
         if self.a_txt:  
            print (data) 
            self.a_txt=False 
headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11')
opener = urllib.request.build_opener()

opener.addheaders = [headers]

strAddress = "http://t.qq.com/xiaoRainie"
fp =opener.open(strAddress)

mybytes = fp.read()
mystr = mybytes.decode("utf8")
fp.close()
myparser = MyParser()
myparser.inputSelfAddress(strAddress)
myparser.feed(mystr) 

print("总数：", myparser.total-11)
for i in range(int(myparser.total), 1, -1):
    print(myparser.sample_list[i-1])
print("结束")
for i in range(int(myparser.total), 1, -1):
    fp =opener.open(myparser.sample_list[i-1])
    myparser.inputSelfAddress(myparser.sample_list[i-1])
    mybytes = fp.read()
    mystr = mybytes.decode("utf8")
    fp.close()
    myparser = MyParser()  
    myparser.feed(mystr)

    

这里简单使用了python 的html 分析模块，和url 处理模块！