深度学习
文章平均质量分 65
千君一发
这个作者很懒,什么都没留下…
展开
-
模型压缩技术,卷积核解读
1. Compressing and regularizing deep neural networks(1)权重值的大小反映了连接的重要性——删除不够重要的连接(called pruning)。(2)权重值轻微的变动对模型的预测能力影响甚微——权重共享(值接近的权重共享同一个权重值,通过索引表查找) ——带来的好处是:减少过拟合,计算,存储,耗能。增加可解释性(私以为)。原创 2017-07-06 17:08:29 · 925 阅读 · 0 评论 -
感知机/Pytorch—笔记
Variable—— 创建:v = Variable (tensor, requires_grad = Ture) 转换为Tensor类型:v.data 转换为Numpy类型:v.data.numpy() 计算反向梯度:v.backward() 2. 获取列表某元素的索引:li原创 2017-07-02 19:57:57 · 1131 阅读 · 0 评论 -
Linux下便捷安装 Pytorch命令指南
1.pip install http://download.pytorch.org/whl/cu75/torch-0.1.12.post2-cp27-none-linux_x86_64.whl 2.pip install torchvision原创 2017-07-19 21:41:30 · 27522 阅读 · 8 评论 -
深度学习笔记——深度学习技巧
1、模型在训练数据上表现不好,why?(1)过拟合(2)激活函数(3)学习率2、梯度消失?盲目增加网络层数很容易导致发生梯度消失现象,尤其是使用sigmoid作为激活函数的时候。sigmoid函数的特点使得权重很大的改变对输出产生很小的影响,当层数很多时这种影响甚至可以忽略不计。在权重更新环节,靠近输出端的权重梯度较大,靠近输入端的权重梯度很小,这使得后端权重更新的很快、很快就原创 2017-08-19 16:02:46 · 397 阅读 · 0 评论 -
深度学习笔记——CNN
1、为什么需要CNN(卷积神经网络)?CNN其实是一种比FNN(全连接神经网络)要简单的网络结构,也就是说CNN的参数要比FNN少很多。那么,为什么需要这种网络结构呢?假如我们现在要识别一张图片中的一只飞鸟,FNN采用整体策略,把一整只鸟当做目标pattern去识别。CNN呢?CNN在一开始学习的时候就把鸟这个大的目标pattern分成很多小pattern,比如嘴、翅膀、脖子、爪子等,甚至更小原创 2017-08-20 10:46:55 · 563 阅读 · 0 评论 -
深度学习笔记——why “deep”?
1、多层的学习效果往往比单层要好,即便参数的个数一样2、在用C语言进行结构化编程时,我们从来不会把大量的功能写到一个函数里面,而是写很多函数同过函数调用实现目标。神经网络也类似,一个层可以看做一个函数实现了一个功能,多层结构更清晰,功能也更强大。3、如下图所示,如果只有一层的话就很难识别长头发男生,因为其样本太少增加一层实现识别性别的功能,在此基础上进一步区原创 2017-08-21 20:59:11 · 345 阅读 · 0 评论