2023 Windows powershell 下载web网页资源文件方法

2023 Windows powershell 下载web网页资源文件方法

提示：这里可以添加本文要记录的大概内容：

有时候打开资源过大网页/下载数据集的时候会遇到一些问题，如（https://storage.googleapis.com/sfr-vision-language-research/BLIP/datasets/laion_synthetic_filtered_large.json）这个网页是salesforce blip的公开数据集，其json文件资源过大，缓存不下来，根据在清华源浏览时的经验，估计就算缓存下来也无法查看

---

用windows的朋友可以考虑用以下方式解决

一、PowerShell DownloadFile 命令

用WebClient对象下载，这种方式下载快，但是存在超时问题，且下载完/命令执行完前无任何反馈，只能眼巴巴看下载速度

powershell (new-object Net.WebClient).DownloadFile(‘http://
xxx/a.ps1’,‘E:\xxx\a.ps1’)
即
powershell (new-object Net.WebClient).DownloadFile(‘url’,‘file path and name’)
注意文件保存路径要带文件名，不然报异常，命令错误、url错误等都会报异常

二、BitsTransfer模块

稳、有进度条、适合下大文件

Start-BitsTransfer -Source “https://storage.googleapis.com/sfr-vision-language-research/BLIP/datasets/laion_synthetic_filtered_large.json” -Destination “M:\download\laion_synthetic_filtered_large.json”
即
Start-BitsTransfer -Source “File URL” -Destination “File Name”
注意事项同上