- 博客(9)
- 资源 (1)
- 收藏
- 关注
RSS订阅转载 placeholder 与variable
placeholder, 译为占位符，官方说法:”TensorFlow provides a placeholder operation that must be fed with data on execution.” 即必须在执行时feed值。 placeholder 实例通常用来为算法的实际输入值作占位符。例如，在MNIST例子中，定义输入和输出：x = tf.placeholder(tf...
2018-03-14 20:19:07
533
转载 对抗样本和对抗网络
前言：本文转载lancezhange 的博文《对抗样本和对抗网络》，文章介绍了对抗样本的概念和相关文献，并且进一步介绍了生成式对抗网络（Generative Adversarial Nets, GAN）。 所谓对抗 样本是指将实际样本略加扰动而构造出的合成样本，对该样本，分类器非常容易将其类别判错，这意味着光滑性假设(相似的样本应该以很高的概率被判为同一类别)某种程度上被推翻了。 In...
2018-03-03 14:44:05
810
原创 Dropout
From Hung-yi LeeDropout (Srivastava et al., 2014) 提供了正则化一大类模型的方法,计算方便但功能强大。在第一种近似下,Dropout可以被认为是集成大量深层神经网络的实用Bagging方法。Dropout提供了一种廉价的Bagging集成近似,能够训练和评估指数级数量的神经网络。计算方便是Dropout的一个优点。Dropout的另一个显著优点是不怎...
2018-03-03 14:07:04
1745
原创 Bagging(bootstrap aggregating)
在误差完全相关即 c = v 的情况下,均方误差减少到 v,所以模型平均没有任何帮助。在错误完全不相关即 c = 0 的情况下,该集成平方误差的期望仅为 1/k * v。这意味着集成平方误差的期望会随着集成规模增大而线性减小。换言之,平均上,集成至少与它的任何成员表现得一样好,并且如果成员的误差是独立的,集成将显著地比其成员表现得更好。Bagging是一种允许重复多次使用同一种模型、训练算法和目标...
2018-03-03 13:22:42
564
原创 L 1 ,L 2 参数正则化
相比 L 2 正则化,L 1 正则化会产生更 稀疏(sparse)的解。此处稀疏性指的是最优值中的一些参数为 0。和 L 2 正则化相比,L 1 正则化的稀疏性具有本质的不同。L 2 正则化不会使参数变得稀疏,而L 1 正则化有可能通过足够大的 α 实现稀疏。...
2018-03-02 21:41:56
860
原创 噪声鲁棒性
对于某些模型而言,向输入添加方差极小的噪声等价于对权重施加范数惩罚 (Bishop, 1995a,b)。在一般情况下,注入噪声远比简单地收缩参数强大,特别是噪声被添加到隐藏单元时会更加强大。向隐藏单元添加噪声是值得单独讨论重要的话题;...
2018-03-02 21:41:38
9696
转载 FTP的主动模式(PORT Mode)及被动模式(Passive Mode)
这两种模式发起连接的方向截然相反，主动模式是从服务器端向客户端发起连接；被动模式是客户端向服务器端发起连接。 PORT（主动）方式的连接过程是：客户端向服务器的FTP端口（默认是21）发送连接请求，服务器接受连接，建立一条命令链路。当需要传送数据时，客户端在命令链路上用PORT命令告诉服务器：“我打开了***X端口，你过来连接我”。于是服务器从20端口向客户端的***X端口发送连接请求，建立一条...
2018-03-02 14:58:48
4613
转载 如何直观地解释 back propagation 算法？
简单的理解，它的确就是复合函数的链式法则，但其在实际运算中的意义比链式法则要大的多。多层神经网络的本质就是一个多层复合的函数。借用网上找到的一幅图[1]，来直观描绘一下这种复合关系。其对应的表达式如下：上面式中的Wij就是相邻两层神经元之间的权值，它们就是深度学习需要学习的参数，也就相当于直线拟合y=k*x+b中的待求参数k和b。和直线拟合一样，深度学习的训练也有一个目标函数，这个目标函数定义了什...
2018-03-01 17:29:55
279
转载 [机器学习收藏] TensorFlow初学者必须了解的55个经典案例
TensorFlow初学者必须了解的55个经典案例 2017-06-191024深度学习1024深度学习导语：本文是TensorFlow实现流行机器学习算法的教程汇集，目标是让读者可以轻松通过清晰简明的案例深入了解 TensorFlow。这些案例适合那些想要实现一些 TensorFlow 案例的初学者。本教程包含还包含笔记和带有注解的代码。第一步：给TF新手的教程指南1：tf初学者需要明白的入门准...
2018-03-01 17:07:52
856
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人