机器学习与深度学习
joshuaxx316
这个作者很懒,什么都没留下…
展开
-
梯度下降算法中的Adagrad和Adadelta
主要介绍了Adagrad和Adadelta两种学习率更新方法,他们都是梯度下载优化算法的变种原创 2016-07-29 15:41:07 · 36313 阅读 · 2 评论 -
G.Hinton Dark Knowledge
Model CompressionCaruana06的文章,提出了一种压缩compressing大规模复杂网络的方法,对模型进行压缩与加速,同时不会明显损失精度。作者首先提到了ensemble model的方法,即利用多个模型预测输出的加权平均或投票的方法来代替单个模型的输出结果。传统方法中,这样的算法思路很常见,例如,特征袋,随机森林,boosting算法等。但是对于神经网络模型来说,大量模型的聚原创 2016-08-16 21:16:47 · 4742 阅读 · 10 评论 -
【论文阅读笔记】DEEP COMPRESSION:COMPRESSING DEEP NEURAL NETWORKS WITH PRUNING, TRAINED QUANTIZATION...
这次又是传图,有点懒,写好的pdf直接转过来的。有问题欢迎指出和讨论原创 2016-09-12 17:02:44 · 2176 阅读 · 2 评论 -
Joint Cascade Detection and Alignment & Local Binary Features 阅读笔记
至于这两点操作的原因我就偷个懒先不写了原创 2016-08-22 21:02:46 · 905 阅读 · 0 评论 -
Deep Convolutional Network Cascade for Facial Point Detection阅读笔记
原创 2016-08-23 20:43:55 · 1013 阅读 · 0 评论 -
caffe学习笔记-深度网络优化过程中loss=nan
loss = nan把学习率调小,甚至调到0,观察loss,loss此时不应该为nan了,因为整个网络都不更新了可能和网络初始化有关,贾洋清说初始化不好,lr=0.0001都可能很大了。。。也有人说手动试多种初始化参数,把bias调0.1再给个github的链接https://github.com/BVLC/caffe/issues/409#issuecomment-42977原创 2016-09-14 22:00:11 · 5907 阅读 · 0 评论 -
Occlusion-free Face Alignment: Deep Regression Networks Coupled with De-corrupt AutoEncoders阅读笔记
原创 2016-08-25 11:20:39 · 1768 阅读 · 3 评论 -
caffe训练打印log分析train loss和test loss并绘制变化曲线
其实很简单,将屏幕输出先保存到文件中,然后使用shell的文本分析命令处理,得到train loss,然后再保存到文件中,利用matlab或者python进行曲线绘制一条命令,包含多个shell命令假设caffe的train test输出的文件为out.log,可以在执行caffe工具时,挂 >& out.log ,awk是将输出分割为行,每行分为多个域,默认域由空格和tab分割,原创 2016-09-17 17:34:03 · 6055 阅读 · 0 评论