神经网络
我冬
这个作者很懒,什么都没留下…
展开
-
win10+anaconda+tensorflow+theano+lasagne
1、首先安装anaconda2、安装cuda,cudnn,根据显卡适合的版本3、conda install tensorflow-gpu4、conda install lasagne(会直接把theano安装上去的) 随后再慢慢补充吧...原创 2019-01-03 00:06:54 · 422 阅读 · 0 评论 -
Win10环境下安装theano并配置GPU详细教程
本文转自https://www.cnblogs.com/zhangjianheng/p/6215529.html写的超级棒,转存一下Win10环境下安装theano并配置GPU详细教程一.软件和环境(1)安装日期2016/12/23;(2)原材料VS2013,cuda-8.0(最好下载cuda7.5,目前theano-0.8.2对cuda-8支持不是很好),Anaconda3-...转载 2018-12-29 14:50:59 · 3352 阅读 · 5 评论 -
Improved Techniques for Training GANs中文部分翻译版
Improved Techniques for Training GANs中文翻译版3 关于GAN训练的收敛性训练GANs就是要在两个不合作的游戏玩家之间找到一个NASH平衡。每一个玩家都希望自己的损失最小化,J (D)(θ(D); θ(G)) for the discriminator andJ (G)(θ(D); θ(G)) for the generator. 一个纳西平衡就是一个关...翻译 2018-12-27 16:21:43 · 810 阅读 · 1 评论 -
L1和L2正则化的直观理解
这部分内容将解释为什么L1正则化可以产生稀疏模型(L1是怎么让系数等于零的),以及为什么L2正则化可以防止过拟合。L1正则化和特征选择假设有如下带L1正则化的损失函数: J=J0+α∑w|w|(1)其中J0是原始的损失函数,加号后面的一项是L1正则化项,α是正则化系数。注意到L1正则化是权值的绝对值之和,J是带有绝对值符号的函数,因此J是不完全可微的。机器学习的任务就是要通过一些方法(比如梯度下降...转载 2018-07-09 15:02:54 · 874 阅读 · 3 评论 -
error ,model selction,research design(李宏毅机器学习2016)
样本量N越大,越接近于西格玛的平方bias和variance:下图右下方为例:bias:可以认为射箭,靶心就瞄错了。variance:由于个人,空气等原因形成的偏差。右上方:瞄准了,但是空气等因素形成的偏差。简单的model受样本的数目比较小下图中,bias越来越小,variance越来越大,如何选择模型呢?使用training set训练模型,使用validation set 选择model。...翻译 2018-06-26 10:55:34 · 139 阅读 · 0 评论 -
gradient descent
stochastic gradient descentgradient descent和stochastic gradient descent区别f例如,下图左右部分比较,左面x2对y影响比较大,因此在w2方向上的变化比较sharp陡峭在w1方向上比较缓和。featuring scaling 有很多,下面是比较普遍的途径之一:梯度下降的理论基础:每一次更新参数的时候都得到一个新的theta,这样一...翻译 2018-06-26 10:01:49 · 156 阅读 · 0 评论 -
SOM自组织神经网络
SOM自组织神经网络自组织神经网络竞争学习规则:winner take all。how to find the winner?首先,对网络当前输入模式向量X和竞争层中的个神经元对应的权重向量Wj(对应j神经元)全部进行归一化,使得X和Wj的模为1;当前网络得到一个输入模式向量X时,竞争层的所有神经元对应的权重向量均与其进行相似性比较,并将 最相似的权重向量判为竞争获胜神经元。最后进行神经元的输出和...原创 2018-06-14 10:55:42 · 2283 阅读 · 0 评论 -
过匹配问题解决
种减轻过匹配的其他的方法:L1 规范化、dropout 和人工增加训练样本。Dropout :Dropout 是一种相当激进的技术。和 L1、L2 规范化不同,dropout 并不依赖对代价函数的变更。而是,在 dropout 中,我们改变了网络本身。让我在给出为何工作的原理之前描述一下 dropout 基本的工作机制和所得到的结果。假设我们尝试训练一个网络:特别地,假设我们有一个训练数据 和 对...转载 2018-05-29 11:39:14 · 680 阅读 · 0 评论 -
关于神经网络中的网络训练过程中的验证集validation_data的认识
validation_data中包含了 幅数字图像,这些图像和训练数据集中的 幅图像以及测试数据集中的 幅都不相同。我们会使用 validation_data 来防止过匹配。我们会使用和上面应用在 test_data 的策略。我们每个回合都计算在 validation_data 上的分类准确度。一旦分类准确度已经饱和,就停止训练。这个策略被称为 提前停止(Early stopping)。当然,实际...转载 2018-05-29 10:07:22 · 30769 阅读 · 8 评论 -
过拟合问题
过拟合问题不仅仅是因为数据集小的原因,这里的数据集小:表现在两方面,一方面是数据集的两小,另一方面是数据集的样本不均匀,不够完善,也即,如果一定程度上,一个完备的数据集比一个不完善的数据集训练出来的网络更为理想。因为如果训练数据集都是很规整的实例,训练出来的网络将会呈现过拟合状态,在预测的时候,一切都是未知的,对于变化(变形,变异)比较大的实例来说,预测结果将会出现错误。此篇小记里面只是讲到了数据...原创 2018-05-16 17:37:27 · 306 阅读 · 0 评论 -
SOM自组织竞争神经网络的数据分类神经元数目的问题
假设样本类数目M为96,竞争层神经元的个数为100个(10*10,疑问:可不可以8*12?)。关于神经元个数的看法:神经元多一些反而好一些,这样让那些“类内疏散的个别样本”尽可能被一个竞争神经元给竞争到,于是,这样就可以保证一个疏松的大类有2至多个神经元竞争到。总之,类内相对疏散的类数越多,需要的神经元个数N(N>M)越多。...原创 2018-05-07 15:58:50 · 2054 阅读 · 1 评论 -
win10 gtx1080 python aconda pycharm tensorflow-gpu
对于一个干净,gang刚装过系统的win10系统:1、安装anaconda3,选择添加默认路径我装的是Anaconda3-4.4.0-Windows-x86_64,python默认的是3.5版本接下来 创建虚拟环境:方法一:打开anaconda navigator,"environments"--->"create"--->选择uninstalled--->sea...原创 2019-03-04 19:53:48 · 159 阅读 · 0 评论