使用python下载日志

第一步：主要是读取配置文件的内容，以及把各种数据存放到文件里

#下载日志
def down():
    downloadfile=os.path.join(util.FileUtil.getconfig("info", "downloadfile"))#需要下载的文件列表
    downloadpath=os.path.join(util.FileUtil.getconfig("info", "downloadpath"))
    logpath=os.path.join(util.FileUtil.getconfig("info", "logpath"))
    today=util.DateUtil.getYesterday(0)#今天
    yesterday=util.DateUtil.getYesterday(1)#昨天
#    befor=util.DateUtil.getYesterday(2)#前天   
    successdownlog=os.path.join(logpath,"dwonsuccess"+str(today)+".txt")#记录下载成功的文件 
    successdownfile=os.path.join(logpath,"dwonsuccess"+str(yesterday)+".txt")#记录下载成功的文件    
    #错误日志按时间进行区分,这个采用哪中方法需要订策略
    #beforlog=os.path.join(logpath,str(befor)+"downerror.txt")#前天的日志错误下载列表，主要是读取
    #yesterdaylog=os.path.join(logpath,str(yesterday)+"downerror.txt")#昨天的日志错误下载列表，主要是写入     
#    downlist=getDownloadList(downloadfile,beforlog,successdownfile)#把前天下载错误的日志和昨天需要下载的日志进行合并    
#    for li in downlist:
#        wgetFile(li,downloadpath,successdownfile,yesterdaylog)
    errorlog=os.path.join(logpath,"downerror.txt")#下载的错误日志
    #下载地址列表
    downlist=getDownloadList(downloadfile,errorlog,successdownfile,successdownlog)
    for li in downlist:
        wgetFile(li,downloadpath,successdownlog,errorlog)

第二步：通过各个文件里获取需要下载的列表

#获取下载列表
#downfile是下载文件的列表
#errordownfile错误日志
#successdownfile下载成功的记录
#successdownlog 当天下载成功的记录，当停止再执行时不会重复下载已经成功的日志
#print getDownloadList("c:\\ip.txt","c:\\ip1.txt")
def getDownloadList(downfile,errordownfile,successdownfile,successdownlog):
    #从配置的文件里获取下载列表
    li=util.FileUtil.readfiletolist(downfile)
    #从错误的下载文件里获取下载列表
    errorli=util.FileUtil.readfiletolist(errordownfile)
    #成功的下载列表
    successli=util.FileUtil.readfiletolist(successdownfile)
    #成功的下载列表
    todaysuccessli=util.FileUtil.readfiletolist(successdownlog)
    #更新错误的下载列表文件
    util.FileUtil.coverLine(errordownfile, errorli, successli)
    util.FileUtil.coverLine(errordownfile, errorli, todaysuccessli)
    #合并下载列表的文件以及下载错误的文件里的列表
    ret=[]
    map={}
    for line in li:
        map[line]=line
        ret.append(line)
    for line in errorli:
        if line in map.keys():
            pass           
        else:
            map[line]=line
            ret.append(line)
    for line in successli:
        if line in map.keys():
            del(map[line])
            ret.remove(line)
        else:
            pass
    for line in todaysuccessli:
        if line in map.keys():
            del(map[line])
            ret.remove(line)
        else:
            pass
    return ret;

第三步:下载日志的函数（通过wget下载，需要把wget.exe复制到目录下）：

#下载文件
#wgetFile('http://localhost/test/1.zip','c:\\','log.zip')
def wgetFile(url,path,successdowloadfile,errordowloadfile):
    """ 
    下载url指定的网络资源对象
    return result
    0 成功
    1 wget error, 2 User interrupt, 3 Execution failed    
    """
    filename=util.FileUtil.getFileNameByUrl(url)
    #-t2试两次；-c是继续,相当于断点续传；-o是输出到wget.log日志中；-T是timeout，超时时间；--waitretry 等待5m检索
    #-U参数还不是很清楚；-O是把url下载了放到那个目录下并重新命名。
    cmd='wget -t2 -c -o wget.log -T2 --waitretry=5 -U downyclog -O '+path+filename+' '+url+''
    try:
        retcode = subprocess.call(cmd, shell = True)
        #os.system(cmd)
        print url,"wget return code:",retcode
        if retcode!=0 :
            print "\nFailed"
            util.FileUtil.appendfile(errordowloadfile, url+"\n")
            return 1
        else:
            util.FileUtil.appendfile(successdowloadfile, url+"\n")
    except KeyboardInterrupt,e:
        print >>sys.stderr, "User Interrupt!",e
        util.FileUtil.appendfile(errordowloadfile, url+"\n")
        return 2
    except OSError,e:
        print >>sys.stderr, "Execution failed!",e
        util.FileUtil.appendfile(errordowloadfile, url+"\n")
        return 3    
    print "\tOK"
    return 0

附件为在myeclipce下建的python项目，程序里只是进行了日志的下载以及解压缩的处理，并没有对日志进行解析，用python只能把原始数据导入到数据库中，在数据库中进行聚合的操作，具有一些局限性，对于url进行统计的数据可以实现，但对于log4j进行统计的数据比较困难，例如;对access日志可以用python进行解析，把url按参数解析为一些字段，这个需要看具体的业务逻辑，比较重要的参数需要放到单独的字段中进行统计，这样可以加快数据库的运算，当然数据量比较大的话最好是一天一个表。对于广告日志使用python做解析并不太合适，主要是一个广告的属性比较多，需要统计的比较杂，这个需要看需求，用python实现比较麻烦一些。
日志解析可以使用c语言来做，这样应该可以提高整体的效率，可能存在的瓶颈一是在数据库，二是在解析日志，三是下载。数据库的优化不是很懂，知道的有分表，索引之类的优化；
下载和网速有关系，这个一般在内网，因此这里应该不会有问题；最后在解析日志这里，使用不同的语言会有比较大的差异，主要是和各种语言的执行速度有关系，知道的c语言应该是特别快的一种吧。