目录
一、概述
小样本学习用于处理训练数据集中样本数量少的情况，一般来说，小样本学习流程是这样的，从一个多种类少量样本的巨大数据集中训练一个Pretrained网络模型（这一步不需要做），之后可以基于预训练模型根据微调、元学习或度量方法进行fine-tune，做到对查询集的一个分类和识别。
小样本学习的LibFewShot库：https://github.com/RL-VIG/LibFewShot
小样本学习与传统神经网络的区别：
假设训练猫狗分类问题，传统神经网络会从大量带标签的猫狗训练集中进行充分训练，得到较好的模型，然后测试集也是猫狗数据集，只不过是训练集中没有的图片，模型将对测试集进行分类。
小样本学习首先在一个较大的较多类别，每个类别较少数据的数据集（即辅助集，不包含猫狗类别）中进行预训练，通过迁移学习对预训练模型进行微调，微调时会利用一个Support set(支持集），支持集包含猫狗的图片和标签，根据支持集的类别共K类和每个类别的图片数量n张，又叫做K-way n-shot小样本问题，通常K取5或10，n取1或5。通过在支持集进行微调，达到少量样本完成对查询集（测试集，猫狗测试集）的分类。
小样本学习，不需要传统神经网络的过高层数，过多的融合来寻找分类的特征从而知道如何分类，而是通过有限的支持集进行相似度匹配，来达到分类的效果。
小样本学习例子：
下图的Query：兔子就是测试集，而辅助集在训练时没有见过兔子类，那么他是如何分类的呢？
通过依赖支持集Support Set对于预训练模型进行微调，来获得水獭与测试图片相似度最高的标签。
另外 K-way n-shot的举例如下：
K-way n-shot与测试集的Accuracy的关系：
（1）支持集类别数越多，测试集Accuracy越低，因为测试图片占测试种类的比例下降了。
（2）支持集图片越多，测试集Accuracy越高，这个很好理解，图片越多学的越好。
二、小样本学习的数据集
1、Omniglot
Omniglot是全语言文字数据集，包含50种语言的字母表，共计1623个类，每个字母由20个不同的人书写，也就是每个字母仅有20张图片，每个图片的像素为105*105。Omniglot数据集分为训练集和测试集，训练集有30个字母表，964个字符，测试集有20个字母表，659个字符，训练集和测试集类别不同，也就是说预训练也是进行的小样本学习，Omniglot数据集一般用作小样本训练。
2、MiniimageNet
MiniimageNet是一个从ImageNet数据集中抽取的数据集，一共100个类别，每个类别600张图片，共计6万张图片。MiniimageNet数据集的训练集64个类别，验证集16个类别，测试集20个类别。Miniimagenet用于针对各种生物、物品的小样本学习数据集。
三、孪生网络
孪生网络，利用相同样本和不同样本之间的区别，训练出一个能够分类的神经网络。
首先将训练集分成正负样本，且样本数量相等的三元组形式，类别相同的图片为正样本，类别不同的图片（首先选取一张图片a，再找从不属于a的图片中随机取样b图片）为负样本。
孪生网络前向传播输入两张图片，经过映射得到两个列向量，向量作差得到z层，经过全连接网络和激活函数，与所给target计算损失函数，并进行反向传播修改权重。
注意这个网络只是简单的一个解释，内部的网络已经更新换代，但大体依旧是输入两张图片与一个Target训练该模型。如下图这种就是图片映射的列向量进入网络层，而没有直接做差。
测试模型时，根据测试集与支持集的不同类别计算相似度，相似度最大的记为本次测试的类别。一般来说孪生网络的相似度计算使用余弦相似度作为度量，余弦相似度可以衡量两个向量之间的夹角余弦值，来反映两者的相似程度。
四、三元组损失函数
三元组损失（Triplet Loss），是基于度量的小样本学习中的损失函数方法。首先从训练集中随机选择一张图片作为anchor，如下图中第一张老虎图片，再根据anchor的类别寻找该类的随机一张图片作为Positive，最后从trainset除去老虎类，随机抽取一张图片记为Negative。
根据三张图片计算各自的特征向量f(x)，正样本和负样本去计算与anchor的2-范数，也就是几何距离，记作d+和d-，d+越小越好，正样本越接近anchor，d-越大越好，负样本越远离anchor。
如果d+=d-那么相当于随机模型，所以训练好的模型必须满足，我们定义三元组损失为
根据三元组损失计算预测图片与支持集中图片的距离dist，通过比较距离中最短的一个，就可以确定预测图片所属的类别。
五、余弦相似度
余弦相似度假设两个向量的范数都为1，那么余弦相似度可以等于
如果两个向量的范数不为1，那么需要做归一化处理，或者直接计算余弦相似度：
在小样本学习中，对于已经训练好的神经网络f，输入3-Way 2-Shot的支持集（松鼠、斗牛犬、海鹦）提取特征向量，由于每个类别有两张图片，所以对其取均值，再进行归一化（Softmax层执行）输出0~1的向量组。
下面进行测试，输入一张测试图片（松鼠），经过神经网络后得到特征向量，经过Softmax层进行归一化得到测试图片对应的归一化向量。计算q与μ1，μ2，μ3之间的余弦相似度，余弦相似度最高的为输出分类类别。
最终的概率分布为：
六、Some Tricks
1、余弦相似度与Softmax分类器结合
一般的Softmax分类器，是对于神经网络输出的特征向量进行的Softmax分类获得概率分布，而在小样本学习中，由于样本量较少而导致在训练中很难捕获的相似性，通过先进行余弦相似度计算，再求解Softmax层，可以增加鲁棒性，并且通过归一化操作也可以降低噪声对特征向量的影响。
2、熵正则化
熵正则化（Entropy regularization）是防止小样本学习中的过拟合问题，对于损失函数加以正则化来优化网络结构。
对于Softmax层输出的概率分布，如果概率分布能呈现很明显的趋向性，也就是具有很强的混乱性，那么他的分类效果很好，如果概率分布趋向均衡分布，则混乱度低，分类效果差。
熵正则化原理：根据上面解释，如果信息熵绝对值越大（），我们加正则化的损失函数等于
，可以保证对于高混乱度的分类效果具有趋向性。
3、初始化权重
微调时的初始化权重方面，因为微调一般训练的就是Softmax层，对于Softmax层一般设置权重w为多个类别的特征向量的均值，b设置为0，一般可以达到很好的训练效果。
1837
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
