![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
文章平均质量分 84
THE@JOKER
一个无耻混蛋
展开
-
BN(Batch Normalization)
批量归一化(BN: Batch Normalization)BN训练随机梯度下降法(SGD)对于训练深度网络简单高效,但是它有个毛病,就是需要我们人为的去选择参数,比如学习率、参数初始化、权重衰减系数、Dropout比例等。这些参数的选择对训练结果至关重要,以至于我们很多时间都浪费在这些的调参上。那么使用BN(详见论文《Batch Normalization_ Accelerating Deep Network Training by Reducing Internal Covariate Shift原创 2021-07-03 21:24:18 · 14908 阅读 · 1 评论 -
梯度下降法
梯度梯度实际上就是多变量微分的一般化。下面这个例子:我们可以看到,梯度就是分别对每个变量进行微分,然后用逗号分割开,梯度是用<>包括起来,说明梯度其实一个向量/矢量。在单变量的函数中,梯度其实就是函数的微分,代表着函数在某个给定点的切线的斜率在多变量函数中,梯度是一个向量,向量有方向,梯度的方向就指出了函数在给定点的上升最快的方向梯度的方向是函数在给定点上升最快的方向,那么梯度的反方向就是函数在给定点下降最快的方向,这正是我们所需要的。所以我们只要沿着梯度的方向一直走,就能走到原创 2021-06-23 18:59:16 · 173 阅读 · 0 评论 -
最小二乘法
1、概述最小二乘法(又称最小平方法)是一种数学优化技术。它通过最小化误差(真实目标对象与拟合目标对象的差)的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据,并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。对于平面中的这n个点,可以使用无数条曲线来拟合。要求样本回归函数尽可能好地拟合这组值。综合起来看,这条直线处于样本数据的中心位置最合理。选择最佳拟合曲线的标准可以确定为:使总的拟合误差(即总残差)达到最小最小二乘法也是一种优化方法,求得目标函原创 2021-06-23 16:29:05 · 75457 阅读 · 13 评论 -
Activation Function(激活函数) 持续更新...
为什么需要激活函数?引入非线性函数作为激活函数,这样深层神经网络表达能力就更加强大(不再是输入的线性组合,而是几乎可以逼近任意函数)。Sigmoidsoftmaxsoftmax函数,又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广,目的是将多分类的结果以概率的形式展现出来。1)将预测结果转化为非负数下图为y=exp(x)的图像,我们可以知道指数函数的值域取值范围是零到正无穷。softmax第一步就是将模型的预测结果转化到指数函数上,这样保证了概率的非负性。2)各种预测结果概率原创 2021-04-05 20:26:32 · 958 阅读 · 0 评论 -
交叉熵损失Cross entropy loss function
交叉熵是信息论中的一个重要概念,主要用于度量两个概率分布间的差异性,在深度学习中,一般用来求目标与预测值之间的差距。信息论交叉熵是信息论中的一个概念,要想了解交叉熵的本质,需要先从最基本的概念讲起。1 信息量信息量和事件发生的概率有关。可见该函数符合我们对信息量的直觉 ,概率越大,信息量就越小。2 熵考虑另一个问题,对于某个事件,有n种可能性,每一种可能性都有一个概率p(xi)。我们现在有了信息量的定义,而**熵**用来表示所有信息量的期望,即:然而有一类比较特殊的问题,比如投掷硬币转载 2021-03-30 14:38:06 · 2678 阅读 · 0 评论 -
How GEMM works for Convolutions
这似乎是一项非常专业的操作。 最后,它涉及很多乘法和求和,例如全连接层,但尚不清楚如何或为什么我们应该将其转换为GEMM的矩阵乘法。 我将在最后讨论动机,但是这里是如何通过矩阵乘法来表示运算的。第一步是将来自图像的输入(实际上是3D数组)转换为2D数组,我们可以将其视为矩阵。 应用每个内核的地方是图像中的一个三维三维立方体,因此我们将这些输入值的每个立方体都作为一个单列复制到矩阵中。 我相信这是im2col,用于图像到列,我相信是从原始的Matlab函数得出的,这是我如何将其可视化:现在,如果您是像我原创 2021-02-03 20:00:56 · 128 阅读 · 0 评论 -
KNN算法
1、KNN算法概述kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别,则该样本也属于这个类别,并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。2、KNN算法介绍最简单最初级的分类器是将全部的训练数据所对应的类别都记录下来,当测试对象的属性和某个训练对象的属性完全匹配时,便可以对其进行分类。但是怎么可能所有测试对象都会找到与之完全匹配的训练对象呢,其次就是存在一个测试对象同时与多个训练对象匹配,导致一个原创 2021-02-03 12:56:33 · 2089 阅读 · 0 评论