tf.nn.l2_loss()

最新推荐文章于 2023-07-27 21:52:35 发布
最新推荐文章于 2023-07-27 21:52:35 发布
阅读量650 收藏 3
点赞数
分类专栏： Tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ACM_hades/article/details/87527891
版权

tf.nn.l2_loss()

函数原型：

tf.nn.l2_loss(t, name=None)

作用：

  • 计算张量t的L2范数，但是没有开方并而是除2，具体如下：
    L 2 = 1 2 ∗ ∑ i = 1 n t i 2 L_2=\frac{1}{2}*\sum_{i=1}^{n}t_i^2 L2​=21​∗i=1∑n​ti2​
tensorflow tf.nn.l2_loss正则化用法
Hope^_^
12-11 7536
https://stackoverflow.com/questions/38286717/tensorflow-regularization-with-l2-loss-how-to-apply-to-all-weights-not-justhttps://stackoverflow.com/questions/37107223/how-to-add-regularizations-in-tensor
深度学习loss总结：nn.CrossEntropyLoss,nn.MSELoss,Focal_Loss,nn.KLDivLoss等
@bangbang的博客
11-19 939
交叉熵主要是用来判定实际的输出与期望的输出的接近程度，也就是交叉熵的值越小，两个概率分布就越接近。假设概率分布p为期望输出(target)，概率分布q为实际输出(pred),HpqH(p,q)HpqPytorch中的CrossEntropyLoss()函数而是交叉熵的另外一种方式计算得到的：Pytorch中函数的主要是将和NLLLoss最小化负对数似然函数）合并到一块得到的结果(1)首先对预测值pred进行softmax计算：其中softmax。
tf.nn.l2_loss() 与 权重衰减（weight decay）
yleave的博客
12-17 2049
权重衰减（weight decay）   L2正则化的目的就是为了让权重衰减到更小的值，在一定程度上减少模型过拟合的问题，所以权重衰减也叫L2正则化。   L2正则化就是在代价函数后面再加上一个正则化项：   其中 C0C_0C0​ 代表原始的代价函数，后面那一项就是L2正则化项，它是这样来的：所有参数 w 的平方的和，除以训练集的样本大小 n。λ就是正则项系数，权衡正则项与 C0C_0C0...
tf.nn.l2_loss
My Honor！ My World！
08-19 6086
tf.nn.l2_loss(t, name=None)L2 Loss.Computes half the L2 norm of a tensor without the sqrt:output = sum(t ** 2) / 2 Args:t: A Tensor. Must be one of the following types: float32, float64, int64, int32,
tensorflow API:tf.nn.l2_loss
NockinOnHeavensDoor的博客
05-07 1120
tf.nn.l2_loss( t, name=None ) Args: t: 一个Tensor. 其types为: half, bfloat16, float32, float64. name: A name for the operation (optional). 作用：不使用sqrt计算张量的L2范数的一半： output = sum(t ** 2) / 2 ...
tf.nn.l2_loss函数
Accelerating的博客
08-25 1398
tf.nn.l2_loss函数1.功能2.入参3.返回值示例 tf.nn.l2_loss别名tf.compat.v1.nn.l2_loss 1.功能 tf.nn.l2_loss计算L2损失。 out=∑ti22out = \frac{\sum{t^2_i }} 2out=2∑ti2​​ 2.入参 tf.nn.l2_loss( t, name=None ) 参数 含义 t 元素类型是half, bfloat16, float32, float64之一的张量. name 操作的别名
tf.nn.l2_loss()的用法
shenyuan12的专栏
08-26 1301
l2_loss()这个函数的作用是利用L2范数来计算张量的误差值，但是没有开发并且只取L2范数的值的一半 函数： tf.nn.l2_loss( t, name=None ) 参数： t：一个张量(tensor)，类型可以为：half, bfloat16, float32, float64 name：op的一个名字，即为这个操作取个名字 作用：不使用sqrt计算张量的L2范数的一半 输出： 一个tensor，数据类型和t相同，是一个标量 计算公式： output = ...
帮我整段修改一下，改成TensorFlow2.11版本可用的：“ def TGCN(_X, _weights, _biases): ### cell_1 = tgcnCell(cell=custom_cell,gru_units=gru_units, adj=adj, num_nodes=num_nodes) cell = tf.nn.rnn_cell.MultiRNNCell([cell_1], state_is_tuple=True) _X = tf.unstack(_X, axis=1) outputs, states = tf.nn.static_rnn(cell, _X, dtype=tf.float32) m = [] for i in outputs: o = tf.reshape(i,shape=[-1,num_nodes,gru_units]) o = tf.reshape(o,shape=[-1,gru_units]) m.append(o) last_output = m[-1] output = tf.matmul(last_output, _weights['out']) + _biases['out'] output = tf.reshape(output,shape=[-1,num_nodes,pre_len]) output = tf.transpose(output, perm=[0,2,1]) output = tf.reshape(output, shape=[-1,num_nodes]) return output, m, states ###### placeholders ###### # 使用 tf.placeholder inputs = tf.compat.v1.placeholder(tf.float32, shape=[None, seq_len, num_nodes]) labels = tf.compat.v1.placeholder(tf.float32, shape=[None, pre_len, num_nodes]) # Graph weights weights = { 'out': tf.Variable(tf.random.normal([gru_units, pre_len], mean=1.0), name='weight_o')} biases = { 'out': tf.random.normal(shape=[pre_len],name='bias_o')} if model_name == 'tgcn': pred,ttts,ttto = TGCN(inputs, weights, biases) y_pred = pred ###### optimizer ###### lambda_loss = 0.0015 Lreg = lambda_loss * sum(tf.nn.l2_loss(tf_var) for tf_var in tf.trainable_variables()) label = tf.reshape(labels, [-1,num_nodes]) ##loss loss = tf.reduce_mean(tf.nn.l2_loss(y_pred-label) + Lreg) ##rmse error = tf.sqrt(tf.reduce_mean(tf.square(y_pred-label))) optimizer = tf.train.AdamOptimizer(lr).minimize(loss) ###### Initialize session ###### variables = tf.global_variables() saver = tf.train.Saver(tf.global_variables()) #sess = tf.Session() gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333) sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options)) sess.run(tf.global_variables_initializer())”
最新发布
04-05
Lreg = lambda_loss * tf.add_n([tf.nn.l2_loss(v) for v in tf.compat.v1.trainable_variables()]) # 改用Keras的MSE计算方式 label = tf.reshape(labels, [-1, num_nodes]) loss = tf.reduce_mean(tf.keras....
tensorflow的loss损失函数tf.nn.l2_loss
zz2230633069的博客
08-04 1万+
Loss 损失运算 用于测量两个张量之间或张量与0之间的误差。 这些可以用于测量回归任务中的网络的精确度，或用于正则化的目的（权重衰减）。  L2正则化（regularization） loss0表示原始的损失函数，后面的部分为L2正则化，通过加入一个正则项来防止过拟合（data overfitting）                                           ...
tf.nn.l2_loss和 tf.nn.l2_normalize
m0_37561765的博客
03-21 9328
一，L2正则化： tf.nn.l2_loss形如1/2Σw21/2Σw21/2\Sigma w^2,一般用于优化的目标函数中的正则项，防止参数太多复杂容易过拟合。 tf.nn.l2_loss(var) Computes half the L2 norm of a tensor without the `sqrt`: output = sum(t ** 2) / 2 不过在这里又...
tf.reshape()与tf.nn.l2_loss()
gs
11-21 279
windows tensorflow tf.nn.l2_loss
guyuezunting的专栏
06-22 250
输入tensor的元素平方和除以2 output = sum(t ** 2) / 2
tf.nn.l2_loss()和tf.reduce_mean()
Pichairen
04-28 1247
import tensorflow as tf x = tf.constant([1,2,3],dtype=tf.float32) y = tf.constant([5,6,7],dtype=tf.float32) sess = tf.Session() # tf.nn.l2_loss(x)最后还会除以2的 print(sess.run(tf.nn.l2_loss(x)))#输出就是 （1^2+...
tensorflow--tf.nn.l2_loss()函数示例
wenqiwenqi123的博客
02-14 7872
我在网上找了一圈，发现并没有人很详细地介绍过tf.nn.l2_loss函数。我今天来给大家解释并跑一下这个函数。tf.nn.l2_loss(t, name=None)解释：这个函数的作用是利用 L2 范数来计算张量的误差值，但是没有开方并且只取 L2 范数的值的一半，具体如下：output = sum(t ** 2) / 2代码：import tensorflow as tf a=tf.cons...
回归损失函数: L2 Loss
热门推荐
小花生的博客
05-07 1万+
均方误差（MSE），二次损失，L2损失 均方误差是最常用的回归损失函数，它是我们的目标变量和预测值的差值平方和。 下图是均方误差函数图，其中目标真值为100，预测值范围在-10000到10000之间。均方误差损失（Y轴）在预测值（X轴）=100处达到最小值。范围为0到∞。 摘录：https://zhuanlan.zhihu.com/p/39239829 注：博众家之所长，集群英之荟萃。 ...
python损失函数实现_损失函数python实现
weixin_36177953的博客
02-10 2867
这是从GitHub上下载的loss函数；适合二分类，多分类得自己从新修改。交叉熵素损失函数def pixel_wise_softmax(output_map):exponential_map = tf.exp(output_map)sum_exp = tf.reduce_sum(exponential_map, 3, keep_dims=True)return tf.div(exponential...
【损失函数】(二) L2Loss原理 & pytorch代码解析
Lizhi_Tech的博客
07-27 5192
直入主题，这次来介绍L2loss的原理以及pytorch代码用法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值