网页分析实现批量下载

from  sgmllib  import  SGMLParser
from  string  import  find, replace, rjust
from  threading  import  Thread
import  urllib

__author__   =   " Chen Peng (peng.ch@hotmail.com) "
__version__   =   " $Revision: 1.0 $ "
__date__   =   " $Date: 2006/03/03 $ "
__copyright__   =   " Copyright (c) 2006 Chen Peng "
__license__   =   " Python "
__all__   =  [ " Gif_163_Parser " ]

class  PDownloadThread( Thread ):
     """
    Download the files in the dict and save them to local files with the given name
     """
     def   __init__ ( self, DictList,i ):
        Thread. __init__ ( self )
        self.DictList  =  DictList
        self.pageno  =  str(i)
  
     def  run( self ):
         for  k  in  self.DictList.keys():
             try :
                 print   ' Download '   +  self.DictList[k]  +   ' ...... '
                uFile  =  urllib.urlretrieve( self.DictList[k],  ' ./files/ '   +  k  +   ' . '   +  self.DictList[k].split( ' . ' )[self.DictList[k].split( ' . ' ). __len__ ()  -   1 ])
             except  :
                logfile  =  open( ' error.log ' ,  ' a ' )
                logfile.write(self.pageno  +   '   '   +  self.DictList[k]  +   '     '   +  k  +   ' ' )
                logfile.close() 
             print   ' Save to file  '   +  k

class  Gif_163_Parser( SGMLParser ):
     """
    任务:下载163彩图
    原理:http://mms.163.com/new_web/cm_lv2_pic.jsp?catID=&ord=dDate&page=2&type=1&key=
        从1到415页（共6637）分析得到如下路径：“/fgwx/hhsj/1_060302175613_186/128x128.gif”
    eg:<script>showPic('22930','1','/fgwx/hhsj/1_060302175613_186/128x128.gif', '1','编号：22930 名字: 因为有你 人气:100');</script>     
    下载路径:http://mmsimg.163.com/new_web/loaditem.jsp/type=1/path=/fgwx/llfj/1_060302175612_995/176x176.gif
     """
     def  reset( self ):                             
        SGMLParser.reset( self )
        self.headURL = ' http://mmsimg.163.com/new_web/loaditem.jsp/type=1/path= '
        self.SubURL  =  []
        self.Links  =  {}
         
     def  start_script( self, attrs ):
         # self.SubURL.extend( [' %s="%s"' % ( key, value ) for key, value in attrs] )
         pass

     def  end_script( self ):
         pass
  
     def  handle_data( self, text ):
         if  find( text,  ' showPic '  ) !=- 1 :
            self.Links[replace( text.split(  ' /n '  )[ 1 ],  ' Ãû×Ö:  ' ,  ''  )] = self.headURL + replace ( text.split(  ' , '  )[ 2 ],  ' ' ' ,  ''  );
           
     def  Execute( self ):  
         for  i  in  range(  1 ,  415  ):
            self.Links.clear
             try :
                usock  =  urllib.urlopen(  " http://mms.163.com/new_web/cm_lv2_pic.jsp?catID=&ord=dDate&page= "   +  str(i)  +   " &type=1&key= "  )
                self.feed( usock.read() )
                usock.close()
                TestThread = PDownloadThread( self.Links ,i )
                TestThread.start()
                self.close()
             except  IOError:
                 pass    
         # print ( ["%s=%sn"% ( k, self.Links[k] ) for k in self.Links.keys()] )
         # print self.Links

if   __name__   ==   ' __main__ ' :
     # Gif_163_Parser().Execute()
    testtask = Gif_163_Parser()
    testtask.Execute()