![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习知识
文章平均质量分 83
日常学习所做笔记,方便以后查阅
KangKang——
此人不懒,什么都没有写
展开
-
Logistic回归:一种有监督学习的二元分类模型
每次从初始点开始朝着最陡的下坡走一步,进而可以找到接近全局最优解的结果。若成本函数为非凸函数,则有可能会陷入局部最优解。梯度下降法适用于处理成本函数为凸函数,用来训练或学习训练集上参数w和b,确定出来拥有最小成本函数的参数w和b。成本函数用于衡量w和b的效果,在全部训练集上来衡量。为学习率,可以控制每次迭代或梯度下降的步长。计算流程图的正向传播,从左到右计算成本函数J。计算流程图的反向传播,从右向左计算导数。为sigmod()函数, 其中。:输入x,判断y=1的概率,即。原创 2024-05-05 16:50:26 · 440 阅读 · 1 评论 -
机器学习基础知识
1.训练集误差,判断模型是否很好的拟合训练集问题,进而可以判断是否有高偏差问题。基于训练集误差基础上,再观察开发集上的误差,可知道模型是否有高方差问题,可以判断训练集上的算法是否在开发集上同样适用,即模型的泛化性。2.基误差的确定也影响着对模型的分析,比如数据集中的图片很模糊,真人识别也很难,若基误差为15%,则(2)不应是高偏差问题。原创 2024-05-18 17:32:01 · 700 阅读 · 1 评论 -
神经网络相关优化算法
把训练集分割为小一点的子训练集,即Mini-batch.Batch成本函数会逐渐递减。Mini-batch成本函数会上下振动,但总体趋势还是递减。(1)梯度下降法若Mini-batch大小为batch, Mini-batch为整个训练集,,称为梯度下降法。若使用梯度下降法,mini-batch=m,则每个迭代需要处理大量训练样本。缺点:若数据量很大时,单次迭代耗时太长。(2)随机梯度下降法若Mini-batch大小为1, Mini-batch为单个样本 ,,称为随机梯度下降法。原创 2024-06-01 08:34:46 · 761 阅读 · 0 评论 -
归一化网络的激活函数和SoftMax回归
(2)限制了在前面层的参数更新会影响数值分布的程度,减少了输入值改变的问题,使其变得更稳定,增加每层网络独立学习能力,使得神经网络后面的层就会有更坚实的基础,从而更好应对输入数据的改变。的作用在于使隐藏单元值的均值和方差标准化,有固定的均值和方差,通过限制了隐藏单元值随机化的程度,使其更加具有代表性,从而从而可以加速训练速度。Batch归一化,不只适用输入层,对于任意一个隐藏层都使用,归一化隐藏层的输入特征,使其分布更加均匀,从而可以加速训练速度。对于隐藏层的输入特征,先用归一化,再使用激活函数。原创 2024-06-10 11:24:46 · 418 阅读 · 0 评论 -
模型优化策略及评估方法
人类水平表现与贝叶斯最优错误率差距不大,后者是理论上的最好情况,因此我们通常人类水平表现把人类水平表现近似为贝叶斯最优错误率。原创 2024-06-11 11:28:24 · 494 阅读 · 0 评论 -
数据集不同划分方法的错误分析+其它学习方法
迁移学习:神经网络可以从一个任务中习得知识,并将这些知识应用到另一个独立的任务。利用新任务的数据集重新训练神经网络有两种方法:(1)如果数据集小,可以只训练输出层前的最后一层或两层,仅仅改变,并保持其他参数不变。(2)如果有足够多数据,重新训练神经网络中的所有层,即重新训练网络中的所有参数。尝试从多个任务中并行学习,而不是串行学习,在训练一个任务后试图迁移到另一个任务。常用场景:无人驾驶技术(需要同时识别交通灯、汽车和行人等多个任务)原创 2024-06-16 17:25:23 · 530 阅读 · 0 评论 -
卷积神经网络(CNN)基础知识
假设大于0的值表现为白色,等于0的值表现为灰色,小于0的值表现为黑色,如图左边为白色,右边为灰色的区域,由亮向暗过渡,经过卷积核后会表现为中间为白色区域,两边为灰色的区域,及中间的垂直边缘被放大为白色区域。意味着不填充,(n×n)的图片用(f×f)的卷积核卷积后,图像变为(n-f+1)×(n-f+1)。当p=(f-1)/2 , 有 (n+2×p-f+1)×(n+2×p-f+1)=(n×n)。对(f×f)的卷积核填充p层,则图像变为(n+2×p-f+1)×(n+2×p-f+1)。原创 2024-06-20 08:10:06 · 599 阅读 · 0 评论