- 博客(5)
- 收藏
- 关注
RSS订阅原创 TensorFlow笔记：模型的存储和加载
tf.train.Saver类TensorFlow中的模型存取都是通过这个类来实现的以 my_model 为例，存储时会在目录下生成四个文件，分别是 checkpoint 文件、 my_model.meta 文件、 my_model.index 文件和 my_model.data-00000-of-00001 文件checkpoint 文件：该文件在目录下只会生成一个，是用来记录和管理整个...
2018-10-02 21:43:53
421
原创 机器学习笔记：正则化项
在机器学习算法中如果只使用经验风险最小化去优化损失函数则很可能造成过拟合的问题，通常我们要在损失函数中加入一些描述模型复杂程度的正则化项，使得模型在拥有较好的预测能力的同时不会因为模型过于复杂而产生过拟合现象，即结构风险最小化正则化项一般是模型复杂程度的单调递增函数，因此可以使用模型参数向量的范数来计算范数在数学上的定义更为广泛，大家可以看看别的资料。这里只涉及了一些和机器学习有关的定义，可能...
2018-10-02 16:54:35
2232
原创 TensorFlow笔记：指数衰减学习率
学习率决定了参数更新的幅度。通常我们希望在学习开始阶段提供一个较大的学习率，使得参数快速更新，达到最优解附近。然后随着训练的进行，我们希望在学习率随着训练次数的增加而减少，即在接近最优解的时候能够以较小的学习率逼近最优解TensorFlow为我们提供了tf.train.exponential_decay()函数实现这个功能tf.train.exponential_decay()函数定义tf...
2018-10-02 15:34:25
1634
原创 机器学习笔记：各种熵
在机器学习中通常会使用各种熵来描述分布与分布之间的关系，如条件熵和交叉熵等，也有直接优化熵的模型，如最大熵模型。这篇文章简单总结一下之前见到过的一些熵相关的概念。信息量定义假设有离散随机变量 XXX 满足分布 P(X=xi)=piP(X = x_{i}) = p_{i}P(X=xi)=pi ， 定义事件 X=xiX = x_{i}X=xi的信息量为I(xi)=−log(pi)I(...
2018-10-01 17:11:48
428
原创 TensorFlow笔记：激活函数
tf.nn.sigmid()函数函数表达式f(x)=11+e−xf(x) = \frac{1}{1 + e^{-x}}f(x)=1+e−x1函数图像函数性质对其求导可得到 f′(x)=f(x)(1−f(x))f'(x) = f(x)(1 - f(x))f′(x)=f(x)(1−f(x))sigmoid函数取值范围在 (0, 1) 区间内，常用于输出层进行二分类...
2018-10-01 15:15:54
597
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人