Jnchin的博客

基本概念小样本学习(Few-Shot Learning, FSL)，顾名思义，就是能够仅通过一个或几个示例就快速建立对新概念的认知能力。这对于人类来说很简单，比如一个警察完全可以单凭一张照片就能在茫茫人海中认出犯罪嫌疑人。实现小样本学习的方式也有很多，比如：度量学习、数据增强、预训练模型、元学习等等。元学习(meta learning或learning to learn)，对于一族待解决的多个任务，一个算法“如果随着经验和任务数量的增长，在每个任务上的表现得到改进”，则认为该算法能够学习如何学习，我

看loss调参train loss与test loss结果分析train loss 不断下降，test loss不断下降，说明网络仍在学习;train loss 不断下降，test loss趋于不变，说明网络过拟合;train loss 趋于不变，test loss不断下降，说明数据集100%有问题;train loss 趋于不变，test loss趋于不变，说明学习遇到瓶颈，需要减小学习率或批量数目;train loss 不断上升，test loss不断上升，说明网络结构设计不当，

在计算机中，加法运算比乘法运算快很多，所以在估计计算量的时候我们主要计算要做多少次乘法。在神经网络中，主要的运算是矩阵乘法。矩阵乘法的计算量是这样计算的：一个的矩阵乘以一个 的矩阵要做 次乘法，所以 就是两个矩阵相乘的计算量了。如果 足够大，则其复杂度为。这就是我们计算神经网络复杂度的依据。【举个例子】计算某两层网络的复杂度？假设矩阵是 的，是 的，是 的。所以第一层是 的矩阵乘以 的矩阵，得到一个 的矩阵，计算量为 ；第二层就是 ...

参考：https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.12586969.1002.24.1cd8593aLNK3uJ&postId=95460目前调参方案有：贪心调参参考：https://blog.csdn.net/m0_37893230/article/details/104449166网格调参随即搜索调参贝叶斯调参参考：https://zhuanlan.zhihu.com/p/54030031时间紧，改天再整理完善

神经网络中用反向传播求偏导数的思想就相当于复合函数求偏导。从头说起，在学生时代我们要求下面式子中，函数e(a,b)e(a,b)e(a,b)对a和b的偏导数：e=(a+b)∗(b+1)e=(a+b)*(b+1)e=(a+b)∗(b+1)∂e∂a=?\frac{\partial e}{\partial a}=?∂a∂e​=?∂e∂b=?\frac{\partial e}{\partial b}=?∂b∂e​=?传统的求偏导方法就是用解析式直接求偏导即可。但如果随着函数复合的层数增多，对应的就是神经

以下过程仅限windows1、安装总体上的PyTorch安装我是参考的这篇博客：https://www.cnblogs.com/zhouzhiyao/p/11784055.html【踩坑一】官网上没有和我的cuda匹配的版本。网上搜了一下也没有解决这个问题，索性就用10.2吧，以后搞清楚了在这里把坑补上。【踩坑二】pytorch慢到无法安装这里我参考了 https://blog.csdn.net/xo3ylAF9kGs/article/details/104104041/注意点1：这几个