deep-learning
文章平均质量分 86
DawnRanger
这个作者很懒,什么都没留下…
展开
-
交叉熵与均方差
先放结论:相同点:当输出值与真实值接近的话,cross_entropy和rmse的值都会接近0cross_entropy具有rmse不具有的优点:避免学习速率降低的情况,方法是避免了 σ′(⋅)\sigma'(\cdot) 的出现。 (注意这种效果仅限于输出层,隐藏层的学习速率与其使用的激活函数密切相关。)均方损失:假设误差是正态分布,适用于线性的输出(如回归问题),特点是对于与真实结果差别越原创 2017-09-19 16:44:44 · 5768 阅读 · 0 评论 -
tensorflow 中的 name_scope 与 variable_scope
0. 为什么需要共享变量: 减少需要训练的参数的个数 多机多卡并行化训练避免变量名和操作名重复, 1. tf.Variable() 和 tf.get_variable()tf.Variable():与 tf.name_scope 配合使用,用于创建一个新变量,在同一个name_scope下面,可以创建相同名字的变量,底层实现会自动引入别名机制。tf.get_variable(name, s原创 2017-10-09 19:01:43 · 836 阅读 · 0 评论 -
实现自己的Keras层
一. 所有keras层的基类:Layerkeras的所有层的基类定义在keras/engine/topology.py文件中的Layer类中。python语言基础用到的装饰器:@property 让类函数能像类变量一样操作@interfaces.legacy_add_weight_support 让函数支持keras 1.x的 API@classmothod 类函数,属于整个类,类似于C++/原创 2017-10-21 23:05:06 · 10468 阅读 · 7 评论 -
神经网络中的矩阵求导及反向传播推导
第一部分: 一个简单的两层神经网络的反向传播下面的代码是来自 pytorch tutorial 的一个 numpy 版本的(激活函数为relu的)两层全连接神经网络的实现, 包括网络的实现、梯度的反向传播计算和权重更新过程:# -*- coding: utf-8 -*-import numpy as np# N is batch size; D_in is input dimension;# H原创 2017-11-22 10:54:46 · 6223 阅读 · 0 评论