![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 60
behboyhiex
这个作者很懒,什么都没留下…
展开
-
Tensorflow-卷积函数 tf.nn.conv2d
Tensorflow-卷积函数 tf.nn.conv2d tf.nn.conv2d是TensorFlow里面实现卷积的函数,是搭建卷积神经网络比较核心的一个方法tf.nn.conv2d(input, filter, strides, padding, use_cudnn_on_gpu=None, name=None)除去name参数用以指定该操作的name,与方法有关的一共五个参数:第一个参...原创 2018-06-11 20:38:47 · 371 阅读 · 0 评论 -
RNN中为什么要采用tanh而不是ReLu作为激活函数?
转自知乎RNN中为什么要采用tanh而不是ReLu作为激活函数?原问题:RNN中一个经典的问题是如果避免梯度消失?造成这个问题的一个很重要原因是采用了tanh作为激活函数,很容易造成梯度消失问题。其中一种解决方案是采Gate的LSTM,使梯度的乘法变成了加法。那么为什么一开始不采用ReLu作为激活函数,这样的话梯度始终为1,不是很好解决了这个问题吗?也用不着采用Leaky Unites等解决方法。...转载 2018-06-26 19:02:50 · 16341 阅读 · 4 评论 -
最大似然估计和最小二乘法怎么理解?
最大似然估计和最小二乘法怎么理解?原创 2018-06-25 21:39:33 · 10088 阅读 · 0 评论 -
没有免费午餐定理
对所有优化问题来说, 有没有可能找到比現在已知算法更好的算法?机器学习-周志华没有免费的午餐定理:<img src="https://pic1.zhimg.com/v2-ee269730f637849151525ab8ac299840_b.png" data-rawwidth="1178" data-ra...原创 2018-06-25 21:26:49 · 1538 阅读 · 0 评论 -
牛顿法与梯度下降法
牛顿法与梯度下降法1、从收敛速度梯度下降法属于一阶收敛,牛顿法属于二阶收敛,牛顿法收敛速度更快。梯度下降只考虑方向,牛顿法不仅考虑方向,还兼顾步子的大小2、从几何上梯度下降用一个平面拟合当前局部曲面牛顿法用一个二次曲面拟合当前局部曲面牛顿法选择的路径更符合真实路径牛顿法优缺点1、优点:二阶收敛,收敛速度快2、缺点:牛顿法是一种迭代算法,需要计算Hessian矩阵的逆矩阵,计算复杂...原创 2018-06-25 21:07:42 · 1410 阅读 · 0 评论 -
斯坦福公开课机器学习笔记第三讲--欠拟合与过拟合
本讲内容:1.locally weighted regression (局部加权回归算法)2.Probabilistic interpretation of linear regression (线性回归的概率解释)3.Logistic regression (逻辑回归算法)4.Digression Perceptron (感知器算法) 欠拟合与过拟合对于只包含这7个点的数据集来说,左2图...原创 2018-06-30 10:23:51 · 283 阅读 · 0 评论 -
LR深入理解
LR基础推导LR前世今生LR正则化当模型的参数过多时,很容易遇到过拟合的问题。而正则化是结构风险最小化的一种实现方式,通过在经验风险上加一个正则化项,来惩罚过大的参数来防止过拟合。奥卡姆剃刀原理:能够很好地解释已知数据并且十分简单的才是最好的模型。L1正则化:lasso,稀疏规则,参数稀疏,实现参数自动选择 学习地去掉一些无用信息的特征,将他们权重置0L2正则化:...原创 2018-06-24 22:53:41 · 576 阅读 · 0 评论 -
过拟合与欠拟合
过拟合与欠拟合train 7%15%20%1%test15%10%30%2% high variancehigh bias high variance biaslow variance bias欠拟合:high bias 训练不好 欠拟合就是模型没有很好地捕捉到数据特征,不能够很好地拟合数据解决办法添加其他特征减少正则化参数过拟合 :high variance 测试不好 ...原创 2018-06-08 17:06:34 · 141 阅读 · 0 评论 -
tensorflow-random 和truncated
tensorflow-random 和trunch 1、tf.random_normal tf.random_normal(shape, mean=0.0, stddev=1.0, dtype=tf.float32, seed=None, name=None)从正态分布中输出随机值。参数: shape: 一维张量,也是输出的张量。 mean: 正态分布的均值。 s...原创 2018-06-12 19:21:44 · 150 阅读 · 0 评论 -
2019校招 腾讯模拟笔试 偏差与方差
泛化误差=偏差的平方+方差+噪声偏差:衡量算法预期与实际的偏离程度,刻画本身的拟合能力方差:同样大小的训练集变动所导致学习性能的变化,刻画数据扰动所造成的影响噪声:表达了当前任务任何学习算法所能达到的期望泛化误差下界,刻画了问题本身的难度。一般训练程度越强,偏差越小,方差越大,泛化误差一般在中间有个最小值。如果偏差较大,方差较小,称为欠拟合,如果偏差较小,方差较大,称为过...原创 2018-08-31 22:08:51 · 2558 阅读 · 0 评论