- 博客(8)
- 收藏
- 关注
RSS订阅
原创 防止过拟合的方法
本文章所有截图来自于斯坦福深度学习课程，是个人看完视频后正则化小结。正则化的宏观概念就是你对你模型做的任何事情，也就是种种所谓的惩罚，主要目的是为了减轻模型的复杂度，而不是去试图拟合数据1.L1正则化(鼓励稀疏)L1更喜欢稀疏解，它倾向于让你的W大部分元素值接近0，少数元素除外，偏离02.L2正则化（权值衰减)L2正则化就是欧式范数的权重向量W。L2正则化理念上就是对这个权重向量的欧式范数进行惩罚...
2018-04-08 15:56:46
2177
原创 激活函数
本文章参考斯坦福深度学习课程，图片也来自于课程截图为什么我们需要激活函数：没有激活函数的神经网络只不过是一个线性回归模型，它功率有限，并且大多数情况下执行得并不好。我们希望神经网络不仅仅可以学习和计算线性函数，而且还要比这复杂得多。1.sigmoid函数 缺点：1.饱和神经元（绝对值很大的数值)将使得梯度消失 x=10或-10时梯度为0，使用链式法则梯度相乘，梯度消失2.si...
2018-04-07 16:20:35
755
1
转载 knn和k-means小结
转载自https://www.cnblogs.com/nucdy/p/6349172.htmlKNN(K-Nearest Neighbor)介绍Wikipedia上的 KNN词条 中有一个比较经典的图如下：KNN的算法过程是是这样的：从上图中我们可以看到，图中的数据集是良好的数据，即都打好了label，一类是蓝色的正方形，一类是红色的三角形，那个绿色的圆形是我们待分类的数据。如果K=3，那么离绿色...
2018-04-08 17:06:06
333
原创 神经网络训练细节
本文章中截图来自斯坦福大学深度学习课程权重初始化1.当用0初始化权重时会发生什么？ 由于权重都为0，给定一个输入，每个神经元将在输入数据上有同样的操作，输出同样的值，得到相同的梯度，使用相同的方式更新，从而得到相同的神经元。 2.当权重初始化值太小时：激活值逐渐变成0，梯度也会变成0，因为不断乘以这么小的数，所有的都会变成03.当权重初始化值太大时：激活值饱和，梯度接近0数据预处理1.在卷积...
2018-04-08 11:31:59
396
转载 池化种类以及区别
链接：https://www.zhihu.com/question/23437871/answer/24696910来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。pooling的结果是使得特征减少，参数减少，但pooling的目的并不仅在于此。pooling目的是为了保持某种不变性（旋转、平移、伸缩等），常用的有mean-pooling，max-pooling和St...
2018-04-07 15:24:46
4427
原创 SVM小结
根据训练数据的类别可将SVM分类如下:训练数据类别 最大化方式向量机类别线性可分硬间隔最大化线性可分支持向量机（硬间隔支持向量机）近似线性可分软间隔最大化线性支持向量机（软间隔支持向量机）不可分使用核技巧和软间隔最大化非线性支持向量机...
2018-03-22 23:16:00
234
原创 Windows10下VS2017配置OpenGL
最新版的VS2017和2013有所区别，在配置OpenGL有所不同，但大致的是差不多的1.首先从官网上下载OpenGL的压缩包解压2.将.dll文件全部放到系统目录下，C:\Windows\System32（32位）或C:\Windows\SysWOW64（64位）下，可以考虑各放一份。把所有的.lib文件放到VS安装目录下C:\Program Files (x86)\Microsof
2017-10-25 11:00:05
3737
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人