Python里urllib.urlretrive的问题

为什么80%的码农都做不了架构师？>>>   

我现在的需求是批量下载文件，比如100个url地址。因为涉及到重命名和保存路径转换，所以没有使用wget。

但是使用urllib.urlretrive经常在下载中途就出错了。而且即使不出错，感觉整体下载效率离wget还有差距。

后来在使用wget的时候发现在循环中对每一个url地址使用os.system('wget url')的下载效率明显不如将url保存在一个文件中，然后使用os.system('wget -i download.txt')来的快，根据控制台的提示应该是wget自动重用了上一次请求的连接。

wget除了配置参数复杂了点，研究成本高了点，对比urllib.urlretrive在批量下载方面优秀不少啊。

我现在的初步想法就是先下载（wget会自动对重复的文件名改名），再来对文件名分析然后进行重命名。最初的想法是下载一个文件然后根据url分析再保存到本地给点目录，发现如果要这样不能最优化的利用wget。

有过这方面经验的都来交流交流。

转载于:https://my.oschina.net/femdom/blog/11803