MALTAB websave(根据URL下载方法)以及 error 401(unauthorized)

第一部分:websave(根据URL下载方法)

url = 'https://gpm1.gesdisc.eosdis.nasa.gov/data/GPM_L3/GPM_3IMERGDF.06/2000/06/3B-DAY.MS.MRG.3IMERG.20000601-S000000-E235959.V06.nc4';
filename = 'E235959.V06.nc4';
username = '1111111';
password = '0000000';
options = weboptions('HeaderFields',{'Authorization',...
    ['Basic ' matlab.net.base64encode([username ':' password])]});
websave(filename,url, options)

以上是单个URL的文件下载方法
如果看明白了,批量下载请移步:
MATLAB websave批量下载(URL)

第二部分:error 401(unauthorized)

我之前的代码总是报错:

url = 'https://gpm1.gesdisc.eosdis.nasa.gov/data/GPM_L3/GPM_3IMERGDF.06/2000/06/3B-DAY.MS.MRG.3IMERG.20000601-S000000-E235959.V06.nc4';
filename = 'E235959.V06.nc4';
options = weboptions('Username','1111111','Password','0000000');
outfilename = websave(filename,url,options);

错误使用 websave
服务器返回了状态 401 和消息 “Unauthorized”,以响应对 URL

原因我找了好久,最后在国外的MATLAB Answers 网站上找到了官方团队的回答:
How do I preemptively include a Basic Authentication header when working with “webread”/​"webwrite"​/“websave” in MATLAB R2019b?

大致意思是:
MATLAB 2019b之前的版本,如果我们在options中定义了username 和 password,MATLAB就会在基本身份验证中预先传递这些信息。然而为了安全考虑,如今改为,MATLAB首先发出一个没有凭证的请求,期望服务器返回一个“401 - Unauthorized”响应,并指定其支持的身份验证方法。然后用指定的身份验证方法发出第二个请求。
官方团队推荐在options里用’HeaderFields’ 来定义自己的授权头文件(Authentication header),并给了如下例子:

% Example username and password
username = 'myUser';
password = 'myPassword';

% Manually set Authorization header field in weboptions
options = weboptions('HeaderFields',{'Authorization',...
    ['Basic ' matlab.net.base64encode([username ':' password])]});
% Make a request using these options
webread('https://httpbin.org/hidden-basic-auth/myUser/myPassword', options)

这种方法在2019b之前的版本中也能用。
所以也就有了我在第一部分中的代码

  • 4
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
使用matlab批量下载网站上的文件-MatlabUrlDownloadToFile.m 前几天美国数学建模成绩出了,我们按照网址下载了自己的证书,另外想看看学校今年的获奖情况,由于学校的参赛队伍数众多,一个一个下载证书再统计显得麻烦,于是想自己用matlab开发一个小程序以实现同类型文件的批量下载。很多网站上有介绍使用Windows API 函数URLDownloadToFile,但是这个在VC上实现容易,要把它移植到matlab上还得使用MEX,有点麻烦了。这几天一直徘徊个大小网站,没有找到相关信息。最后还是自己使用lookfor找到需要的函UrlWrite,调用这个函数轻松搞定批量下载! 以下是代码: %使用matlab下载网站上的文件 %使用urlwrite函数下载网站上的文件 %特别适用于批量下载同类型的文件 % Created by longwen36 2011-4-16 %使用urlwrite实现批量下载 %以下载2011美赛数模证书为例 clc,clear; num = 11701:11710; URLs = cell); folder_filenames = cell); filenames = cell); for idx  = 1:length;     URLs{idx} = sprintf);     filenames{idx} = sprintf); end tic; for idx = 1:length;     fprintf;     [f, status] = urlwrite;     if status == 1;         fprintf;     else         fprintf;     end     end etime = toc; fprintf,etime); 复制代码 下载速度还挺快的,才发现,matlab功能确实很强大,函数很齐全。利用这个函数,加以改进,编写GUI,就可以做个简易的批量下载器了! 感兴趣的同仁可以试试!
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值