【小小招术】自动化的批量下载和解压缩

最近想看些Erlang实用中的东西，来到邮件列表的仓库：

http://www.erlang.org/pipermail/erlang-questions/

东西太多，要全弄回来慢慢瞧，得有偷懒的办法。试了试cygwin里的两个工具，wget和gzip，都挺简单。

一、自动批量下载

1、取回网页 http://www.erlang.org/pipermail/erlang-questions/

存为archives.html

2、写个Python函数：

#--------------------------------------------------

def get_url(src,dest):

    f = open(src,"r")

    s = f.read()

    ls = str(s).split("/n")

    ls2 = [ "".join(["wget ",url.split("/"")[1],"/n"]) for url in ls if '.txt.gz' in url]

    f.close()

    f2 = open(dest,"w")

    f2.write("".join(ls2))

    f2.close()

#----------------------------------------------------

3、调用 get_url("archives.html","z1.sh")

生成shell文件z1.sh，使其可执行：

$ chmod +X z1.sh

$ ./z1.sh

所要文件全部下载

二、自动解压缩

1、写个Python函数：

#--------------------------------------------------

import os

def get_gzip_names(path,dest):

    fnames = os.listdir(path)

    gzfiles = [ "".join(["gzip -d ",z,"/n"]) for z in fnames if '.txt.gz' in z]

    dest = dest.split(".")[0]+".sh"

    pathfname = os.path.join(path,dest)

    f = open(pathfname,"w")

    f.write("".join(gzfiles))

    f.close()

#--------------------------------------------------

2、调用函数，如：

get_gzip_names("D:/erlang/articles/mailist","z2")

生成shell文件 z2.sh，使其可执行：

$ chmod +X z2.sh

$ ./z2.sh

下载的文件全部解压缩。