深度学习
文章平均质量分 80
诚朴求食
机器学习、深度学习、数据分析、JavaEE、测试开发
展开
-
损失函数MSE和MAE的区别以及如何选择
损失函数MSE和MAE的区别,如何进行选择原创 2022-06-21 11:09:09 · 8364 阅读 · 0 评论 -
Tensorflow-tf.reshape()详解
TensorFlow是常用的深度学习框架,在数据准备过程中,我们常常要将数据处理成我们想要的维度,在这里就需要用到reshape语法。与numpy的reshape类似,其基本语法为:tf.reshape(tensor, shape, name=None) One shape dimension can be -1. In this case, the value is inferred f...原创 2019-11-13 16:01:19 · 1697 阅读 · 0 评论 -
机器学习中调优的思路总结
在项目、工作中,如果你是作为一个算法工程师或者数据分析师,用到机器学习或深度学习模型的话,会经常遇到模型的结果始终提升不了的瓶颈。在这个时候,我们该怎么做呢?我对模型的优化进行了一份总结,以后大家遇到类似的模型效果提升不了的时候,就按照这个清单看一遍有哪些自己还没做的,有哪些觉得可以用到的,进行一番尝试。我主要从以下四个方面进行了一下总结:1、数据人们都说,数据决定了模型的上限,而不同的模...原创 2019-10-29 11:00:04 · 484 阅读 · 0 评论 -
Tensorflow–tf.assign()详解
tf中的tf.assign()函数非常容易被人误解,如果不是非常透彻理解tensorflow graph和op的概念的话,一不小心就会计算错误。下面先来看一下源代码中的注释:def assign(ref, value, validate_shape=None, use_locking=None, name=None): """Update 'ref' by assigning 'value...原创 2019-10-15 10:50:26 · 1834 阅读 · 1 评论 -
深度学习:正则化
正则化是为了使训练错误率和测试错误率的差距尽可能的缩小。以下为一些方法笔记:L0范数惩罚:拿高次多项式函数进行说明,将参数不等于0的个数控制在c以内来达到限制模型的目的。L1范数惩罚:要求参数数值的总和要小于某个数值,这种对参数数值总和的限制就是L1范数惩罚,也叫参数稀疏性惩罚。L2范数惩罚:把对参数绝对值求和的限制改为对参数的平方求和的限制,也叫权重衰减惩罚。对于代价函数,常使用MS...原创 2018-07-02 21:58:36 · 295 阅读 · 0 评论 -
深度学习:优化器
在神经网络中经常面对非凸函数的优化问题,所以在平时经常会用到一些网络的优化方法,包括局部最优、鞍点、梯度悬崖和梯度消失问题。对于大规模的神经网络,大多数的局部最优都有一个比较低的损失值,并且寻找真实的全局最优也不是一个很重要的问题,重要的是在参数空间中找到一个相对较低的局部最优值。(因为全局最优可能过拟合严重,局部最优反而可能更好)鞍点:是高维数据中一个很突出的问题。鞍点就像是两座山峰的中...原创 2018-07-04 21:19:17 · 653 阅读 · 0 评论 -
深度学习:卷积神经网络
卷积神经网络是实际应用中最为成功的神经网络。卷积在机器学习中有两个具体的优势:稀疏连接和参数共享。对一幅图像进行卷积,使用卷积核进行卷积,然后卷积后得到特征映射或者特征图(Feature Map)。卷积就是对数据加权求和。一般而言,卷积使用星号表示卷积的过程,卷积适合交换律。在机器学习中卷积就是就是局部特征乘以对应的权重,然后再累加起来即可。稀疏连接:在传统的神经网络中,每个神经元都会连接...原创 2018-07-05 20:01:41 · 811 阅读 · 0 评论 -
梯度弥散与梯度爆炸
问题描述先来看看问题描述。 当我们使用sigmoid funciton 作为激活函数时,随着神经网络hidden layer层数的增加,训练误差反而加大了,如上图所示。下面以2层隐藏层神经网络为例,进行说明。 结点中的柱状图表示每个神经元参数的更新速率(梯度)大小,有图中可以看出,layer2整体速度都要大于layer1.我们又取每层layer中参数向量的长度来粗略的估...转载 2018-08-28 15:37:59 · 1821 阅读 · 0 评论