在服务器上下载数据集
下载文件到指定目录,其中/user/myDir是指定目录,/https://……对应的是需要下载的文件的链接地址
wget -P /user/myDir /https://……
下载文件报错400 Bad Request
出现的问题是明明链接在本地浏览器里可以直接下载,但使用wget命令始终会报400 Bad Request错误
解决方案:
给链接地址加'''' 可能是因为url中有特殊字符,让centos中断了url的字符串,服务端就无法解析这个url了,加上''后,centos就能正确解析整个命令
参考链接:
https://www.jianshu.com/p/dda1f60916c6
https://blog.51cto.com/yahveh/1966589
批量下载文件
首先将多个下载地址写入某文件中,之后使用以下命令即可批量下载,可通过查看下载日志/wget-log查看下载进度。
wget -b -i 文件名
以url.txt为例,存储路径为/home/,则我们使用的命令为:
wget -b -i /home/url.txt