Tensorflow笔记之过拟合问题

最新推荐文章于 2021-07-17 09:13:34 发布
VIP文章 最新推荐文章于 2021-07-17 09:13:34 发布
阅读量258 收藏
点赞数 1
分类专栏： 神经网络 tensorflow 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wht18720080085/article/details/105018399
版权

    前面已经说到如何在训练数据上优化一个给定的损失函数，但是在真实的应用中想要的并不是让模型尽量拟合训练数据，而是通过训练出来的模型对未知的数据给出判断。所谓拟合，指的是当前一个模型过于复杂之后，它可以很好地“记忆”每一个训练数据中随机噪声的部分而忘了要去“学习”训练数据中通用的趋势。举一个例子，如果一个模型中的参数比训练数据总数还多，那么只要训练数据不冲突，这个模型就可以记住所有训练数据的结果从而使损失函数为0。

  为了避免过拟合，最常用的方法是正则化。其思想就是在损失函数中加入刻画模型复杂程度的指标。如果刻画模型在训练数据上的损失函数是J(0),那么在优化的时候不是直接优化J(0)，而是优化J(\theta )+\lambda R(w)，其中R(w)刻画的是模型的复杂度，而\lambda表示模型复杂损失在总损失中的比例。通常R(w)有两种，一种是L_{1}正则化，计算公式如下：

                                             

最低0.47元/天 解锁文章
繁华落叶草
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
深度学习笔记_tensorflow2.0_过拟合（二）
01-06
减少过拟合方法： 交叉验证 normalization 学习率调整， learning rate decay momentum动量调整 k折交叉检验： 正则化： 更小的权值w，从某种意义上说，表示网络的复 杂度更低，对数据的拟合刚刚好（这个法则也...
tensorflow学习（4）：损失函数+优化方法
shanlepu6038的博客
11-26 2297
一、损失函数 提起损失函数，大概最常用的就是交叉熵和均方误差了。 1.交叉熵损失函数：针对分类问题 假设某个样例的正确答案是(1,0,0)，预测值是[0.5,0.4,0.1] 那么其交叉熵为H((1,0,0),(0.5,0.4,0.1))=-(1log0.5+0log0.4+0*log0.1)=0.3 所以，在代码实现时如下：假设label为y，预测值为y’，则交叉熵为 cross_entrop...
03.深层神经网络
qq_40230458的博客
12-05 120
一、深度学习与深层神经网络 1、线性模型有局限性 2、激活函数 常见的激活函数 tf.nn.relu tf.nn.sigmoid tf.nn.tanh   二、损失函数 交叉熵：用以表示两个分布之间的距离 由于损失函数用交叉熵表示所以输出应为不同分类之间的概率，SoftMax回归是一个非常常用的办法： 交叉熵代表用q来表示p的困难程度，q是预测值，p是正确值，交叉...
TensorFlow优化模型之正则化
修炼之路
10-30 1万+
在使用机器学习训练一个模型的时候，训练出来的模型很可能会出现两个常见的问题，过拟合和欠拟合从而导致模型对未知数据的预测能力会有所下降。欠拟合可能是由于模型的设计过于的简单，提取出来的特征不足以来刻画问题的趋势，比如说，使用一个模型来预测房价，影响房价的因素有房子所处位置、房子大小、卧室的数量、是否靠近医院、是否靠近学校等等。如果，我们在训练模型的时候仅仅只是用了房子的大小、房子所处的位置两个特征来
tensorflow contrib_TensorFlow入门笔记(九) : 神经网络优化算法
weixin_39807541的博客
11-25 165
参考:<TensorFlow实战Google深度学习框架>梯度下降算法 本文中讲简单介绍通过反向传播算法(backpropagation)和梯度下降算法(gradient decent)调整神经网络中参数的取值。梯度下降算法主要用于优化单个参数的取值，而反向传播算法给出的一个高效的方式在所有参数上使用梯度下降算法，从而使神经网络模型在训练数据上的损失函数尽可能小。反向传播算法是...
最简单的一个神经网络架构（对前向和后向传播中每个部分的实现）
Jasminexjf的博客
04-07 422
（一）#以下是完整的code import tensorflow as tf from numpy.random import RandomState batch_size=8 x=tf.placeholder(tf.float32,shape=(None,2),name='x_input')#两个输入节点 y_=tf.placeholder(tf.float32,shape=(None,1),n...
过拟合、欠拟合学习笔记
01-06
一类是欠拟合，另一类是过拟合. 1.欠拟合 模型无法得到较低的训练误差，将这一现象成为欠拟合. 2.过拟合 模型的训练误差远小于它在测试集上的误差，称这一现象为过拟合. 可能导致这两种拟合问题的因素有很多，比如...
tensorflow笔记之神经网络优化
03-23
神经网络优化
过拟合和欠拟合学习笔记
01-20
过拟合得问题指的是模型在测试集上的结果不好，训练误差较低但是泛化误差依然较高，二者相差较大。 解决过拟合得问题通常可以通过增加数据量，另外还可以用正则化的方法。 正则化 L2范数正则化 通常指得是L2范数正则...
tensorflow笔记
07-18
此为在mooc中看到的一个比较好的tensorflow学习资源笔记，有代码的讲解及搭建神经网络过程，代码链接会在“tensorflow笔记及代码”中给出
Tensorflow 实战笔记
zzyy0929的博客
08-17 528
必须走如下步骤： sess=tf.Session() sess.run(result) sess.close() 才能执行运算。 With tf.Session() as sess:        Sess.run() 通过会话计算结果： with sess.as_default():        print(result.eval()) 表示输出result的值 生成一个权...
python中mean的用法_tensorflow中tf.reduce_mean函数的使用
weixin_39972996的博客
11-26 551
tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均值，主要用作降维或者计算tensor（图像）的平均值。reduce_mean(input_tensor,axis=None,keep_dims=False,name=None,reduction_indices=None)第一个参数input_tensor： 输入的待降维的tensor;第二...
tensorflow tf.norm tf.reduce_max,min,mean, tf.argmin,...
每日提升一点点
07-17 430
a = tf.ones([2, 2]) b = tf.norm(a) print(b) b = tf.sqrt(tf.reduce_sum(tf.square(a))) print(b) res: tf.Tensor(2.0, shape=(), dtype=float32) tf.Tensor(2.0, shape=(), dtype=float32) L1 Norm: a = tf.constant([1, 3, 2, 4], shape=[2,2]) print(a) b = tf.no.
【tensorflow】中 tf.reduce_mean函数：求均值
电子生医小白的博客
04-22 1213
参考文章： 版权声明：本文其中一部分参考了CSDN博主「-牧野-」的原创文章，转载请附上原文出处链接及本声明。 原文链接：https://blog.csdn.net/dcrmg/article/details/79797826 tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均值，主要用作降维或者计算tensor（图像）的平均值。 tf.reduce_mean 函数 reduce_mean( input_tensor, axis=.
神经网络过拟合问题-正则化
疯狂的兔子
01-13 2911
搭建的神经网络的过程中，可能会出现这样一种过程，网络在训练数据上的表现非常好但是在测试集上表现却比较差，很有可能是因为网络过拟合问题导致的这个差距。所谓过拟合，指的是当一个模型过为复杂之后，它可以很好的记忆每一个训练数据中随机噪音的部分而忘记了去学习训练数据中通用的趋势，如果一个模型中的参数比训练数据的总数还多，只要训练数据不冲突，这个模型就可以完全记住所有训练数据的结果而使得损失函数为0。 为
tensorflow中 tf.reduce_mean函数
热门推荐
牧野的博客
04-03 26万+
tf.reduce_mean 函数用于计算张量tensor沿着指定的数轴（tensor的某一维度）上的的平均值，主要用作降维或者计算tensor（图像）的平均值。 reduce_mean(input_tensor, axis=None, keep_dims=False, na...
tensorflow中的平均值：tf.reduce_mean
ACM_hades的博客
03-25 2211
tf.reduce_mean 函数原型： tf.math.reduce_mean( input_tensor, axis=None, keepdims=None, name=None, reduction_indices=None, keep_dims=None ) 参数： input_tensor：需要求平均值的张量 axis：指定求平均值的轴...
tensorflow学习之常用函数总结：tensorflow官方例子中的诸如tf.reduce_mean()这类函数
欢迎来到Jimmy的博客
10-04 10万+
tensorflow中有一类在tensor的某一维度上求值的函数， 如： 求最大值tf.reduce_max(input_tensor, reduction_indices=None, keep_dims=False, name=None) 求平均值tf.reduce_mean(input_tensor, reduction_indices=None, keep_dims=False,
TensorFlow的tf.reduce_mean()函数详解
chen1995csdn的博客
09-14 1012
tf.reduce_mean(input_tensor, reduction_indices) 参数1：input_tensor:待求值的tensor。 参数2：reduction_indices:在哪一维上求解。 举例说明： # 'x' is [[1., 2.] , [3., 4.]] x是一个2维数组，分别调用reduce_mean() 函数如下： 首先求平均值： tf.redu...
【mooc】人工智能实践:tensorflow笔记-北京大学代码
最新发布
08-29
MOOC（大规模开放式在线课程）是一种通过网络平台开设的在线教育课程，可以为广大学习者提供方便灵活的学习机会。人工智能实践：TensorFlow笔记，是由北京大学推出的一门针对人工智能领域的实践课程，旨在帮助学习者掌握使用TensorFlow框架进行深度学习的基本方法和技巧。 该课程的代码提供了一系列丰富的示例和实践项目，通过这些代码我们可以了解和掌握TensorFlow的使用方法。其中包括数据处理、模型构建、模型训练与评估等关键步骤。通过学习和实践，我们可以学会如何搭建神经网络模型，进行图像分类、文本生成等任务。 在这门课程中，北京大学的代码示例主要围绕深度学习的常用库TensorFlow展开，通过给出具体的代码实现，解释了每部分的原理和操作方法，帮助学习者理解基本概念和技术，熟悉TensorFlow框架和编程语言的使用。 此外，这门课程还涵盖了一些实践项目，例如基于TensorFlow的手写数字识别、图像分类与预测、文本生成等。通过完成这些实践项目，我们可以加深对TensorFlow的理解并提高实践能力。 总之，人工智能实践： TensorFlow笔记 - 北京大学代码是一门结合了理论与实践的在线课程，通过教授深度学习的基本概念和TensorFlow的应用方法，帮助学习者掌握人工智能领域的基本技能。通过这门课程，我们可以学习到TensorFlow的使用方法，掌握一定的实践能力，并将这些知识应用于实际项目当中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值