programmingfool5的博客

Booststraping名字来自成语“pull up by your own bootstraps”，意思是依靠你自己的资源，称为自助法，它是一种有放回的抽样方法，它是非参数统计中一种重要的估计统计量方差进而进行区间估计的统计方法。其核心思想和基本步骤如下： （1） 采用重抽样技术从原始样本中抽取一定数量（自己给定）的样本，此过程允许重复抽样。 　　（2） 根据抽出的样本计算给定的统计

主要结合花书对于L1 & L2的简单介绍，其中知乎的两个答案对书中的介绍做了很好的补充。 具体的： https://zhuanlan.zhihu.com/p/32488420 上述文章中，主要介绍L2的作用以及原理，更重要的是结合了线性回归（即岭回归）进行介绍。其中第三部分从主成分分析方面，用公式推导出了正则化参数对于不同方差下的特征的影响。第四部分从偏置（bias）-方差（var...

这篇文章的主要解决的是当输入的图片的尺寸不是既定的224×224224×224224 \times 224, 采用各种对图片放缩的时候会影响网络的学习. 比如下图, 只裁剪了一部分, 或者放缩的时候发生了几何的形变: 那么为什么会要求输入的大小相同呢, 很大一个原因就是最高层的FC的输入的尺寸必须要相同. 文章就是从这里下手的.Spatial pyramid pooling: 指的是对于...

1. L1&L2参数正则化基本的思想是对参数进行约束，在保证取得最小的损失函数的同时衰减不相关特征的参数。具体可以看另外一篇博文：L1 & L2 正则化的理解 2. Dropout集成思想，同时减少每层的神经节点之间的相互依赖。3. 数据增强原始的思想是扩充数据集，增强泛化能力。裁剪/翻转/颜色亮度变化。4. 迁移学习当你的数据集比较小，训...

Batch Normalization因为在深度神经网络中随着训练得进行，每一个隐层的参数不断的发生变化导致每一层的激活函数的输入发生改变，这与机器学习领域的假设：训练数据和测试数据的同分布是不符合的。所以会造成以下的问题： - （如果不scaling）激活输入值分布的偏移，导致数据向线性函数的取值区间的上下线两端靠近，导致梯度消失/爆炸的问题，这就是问什么会训练速度降低的原因。（...

在阅读过程中，找了不少相关的资料来弄清楚比较细节的东西，其中hjimce的博客中，对于细节的理解要更全面一些，比如文中没有具体阐述的非极大值抑算法、对于fine-tuning 、训练CNN和SVM的时候标签的定义和设计的思考，非常欣慰的是在没有相关基础的前提下，我的理解跟这位大牛的理解基本一致。在这里我不做具体的内容总结了，只希望记录下我认为比较重点和难理解的地方，值得以后参考大神的博客和论文...

链接：https://www.zhihu.com/question/45487317/answer/99153174 来源：知乎这个问题很好，回答的也很好。让我重新以统计学来认知两个重点的集成学习方法： 一句话的解释，来自周志华老师的机器学习教科书（ 机器学习-周志华）：Boosting主要关注降低偏差，因此Boosting能基于泛化性能相当弱的学习器构建出很强的集成，比如GB...

局部加权回归局部加权回归原理：对于一般训练集： 参数系统为：线性模型为： 线性回归损失函数：J(θ) 局部加权回归的损失函数：在我们原始的线性回归中，对于输入变量，我们要预测，通常要做： 而对于局部加权线性回归来说，我们要做：局部加权回归是一种非参数学习方法， 它的主要思想就是只对预测样本附近的一些样本进行选择，根据这些样本得到回归方程，那么此时我们得到的回归方程就比较拟

LSTM理解有图示:https://www.jianshu.com/p/9dc9f41f0b29GRU:https://blog.csdn.net/cskywit/article/details/78977834知识点(待理解和补充):https://blog.csdn.net/behboyhiex/article/details/81328510...