wget同时下载多个文件
问题产生
如果我要用wget下载三个文件,我要在命令行里敲三次命令。对这三个文件来说是ok的,但如果我哪次想同时下载十几个文件怎么办?总不能还一个一个命令敲吧?
解决方案
可以把要下载的文件链接写在一个txt文件里,然后wget -i xxx.txt
例如:将url链接放在一个叫example.txt的文件里
# 新建txt文件的命令
vim example.txt
# example.txt文件内容
https://cloud.tsinghua.edu.cn/f/fa25d75a1fcd41cc88d5/?dl=1
https://cloud.tsinghua.edu.cn/f/6e6d6fbc588b4719a9c0/?dl=1
https://cloud.tsinghua.edu.cn/f/bc51e8062b6940db8abf/?dl=1
wget -i example.txt
wget文件名称不正确问题
问题产生
在下载数据集的时候发现,wget下来的文件名字不正确。例如:
wget下载之后三个文件的名字并不是trainA、trainB、testA。然后解压缩就报错了…
原因:wget默认会以最后一个符合/的后面的字符来命令,对于动态链接的下载通常文件名会不正确
解决方案
对于上述问题,解决方案是使用-O
参数指定文件名
例如:
wget -O trainA https://cloud.tsinghua.edu.cn/f/fa25d75a1fcd41cc88d5/?dl=1
wget同时下载多个文件并重命名
问题产生
在解决完第二个问题后,很自然想到如果要下载多个文件同时又要重命名怎么办?
解决方案
新建一个urls.txt文件,内容为:
trainA.rar https://cloud.tsinghua.edu.cn/f/fa25d75a1fcd41cc88d5/?dl=1
trainB.rar https://cloud.tsinghua.edu.cn/f/6e6d6fbc588b4719a9c0/?dl=1
testA.rar https://cloud.tsinghua.edu.cn/f/bc51e8062b6940db8abf/?dl=1
写个shell脚本
#!/bin/bash
while read file_name file_url
do
wget -O ${file_name} -c ${file_url}
done < urls.txt
脚本的意思是:从urls.txt中读取一行内容,一行分为两个变量file_name和file_url,两个变量分别作为wget命令的参数执行。循环上述过程,直到urls.txt所有内容读取完毕。< urls.txt是输入重定向,默认从命令行读取,该操作将读取目标重定向为urls.txt文件。
Shell教程:https://www.runoob.com/linux/linux-shell.html