高光谱融合工具箱(HIFToolBox) 旨在收录高光谱和多光谱/全色锐化领域的SOTA算法。收录算法主要分三类:基于模型的算法、自/无监督学习算法,以及监督学习算法。
获取地址 :主页
预训练权重 :HIFTool目前发布了在QB数据集上,所有收录的监督网络的预训练权重。
使用方法:
- 在配置好PyTorch的环境中打开 Network_training.py.
- 选择算法类型 > 0:包括模型(Model),1:无监督(unsupervised), 2:监督(supervised)。如下图所示,case_lst[0]中的0即表示基于模型的方法。
case_lst = ['model','unsupervised','supervised']
case = case_lst[0]
Fusion = ModeSelection(case)
- 选择方法 > 目前HIFToolBox收录了 MoGDCN, Fusformer, PSRT, MSST, DCTransformer, iDaFormer, HySure, HyMS, DBSR, UDALN,uHNTC 。如下图所示,Method = 'HyMS’即表示使用HyMS方法。
Method = 'HyMS'
model, opt = model_generator(Method,'cuda')
- 选择数据集 > 目前数据集支持 Chikusei,Pavia,XiongAn,WDCM,QB。对应的数据集可以在*./Multispectral Image Dataset/* 中的解释文档中的链接中下载,放入相应数据集即可。如下图所示, dataset_name = 'chikusei’即表示使用使用Chikusei数据集训练。
dataset_name = 'chikusei'
model_folder = Method + '/' + dataset_name + '/'
- 训练
> 监督训练:如下图所示,监督训练在此处设置 批量大小(Batch_size),最大迭代步数( end_epoch),权重保存间隔步数(ckpt_step),以及学习率( lr )。
# Training Setting
Batch_size = 2
end_epoch = 2000
ckpt_step = 50
lr = 1e-4
> 模型优化:
如下图所示,基于模型的方法需要传入相机的光谱响应函数(srf),以及点扩散函数(psf)。如果未有该类函数则输入None。
srf = sio.loadmat('Dataloader_tool/srflib/chikusei_128_4.mat')['R']
psf = None
- 测试
打开 Network_eval.py进行监督网络的测试。