源式羽语

有志于学,不赞美,不责难,只求了解认识。

二值网络记录

1.    所有参数都是+-12.    单精度浮点表示32,二值表示13.    训练基于梯度下降,二值无法算梯度,不能更新权重4.    向前权重用二值,更新用单精度,这样会收敛到满意值5.    二值过程:直接通过x_b=sing(x)正负二值6.    通过随机数概率来二值7.    二值...

2018-03-20 12:46:52

阅读数:79

评论数:0

残差网络简单记录

实验和理论证明,神经网络深度和宽度是表示网络的两个核心因素,但深度比宽度在增加复杂性方面更有效(VGG模型)。但随着网络加深,训练会越来越麻烦,误差信号的多层反向会引起梯度消失(回传过程中训练误差及其微弱),和梯度爆炸(梯度过大,导致训练出现Nan)现象。目前概述梯度这些现象的策略有:权重初始化策...

2018-03-19 16:29:43

阅读数:299

评论数:0

Network in Network记录

1.    模型介绍:新加坡国立大学lv实验室提出的,异与传统卷积神经网络。2.    特点:与其他神经网络相比,最大差异在与用多层感知机(多层全连接和非线性函数组合)代替了先去卷积进行层间映射。线性卷积层的复杂度有限,非线性映射增加网络卷积层的非线性能力,使上层特征有更多复杂性和可能性的映射到下...

2018-03-19 15:20:23

阅读数:65

评论数:0

VGG_net

Vgg网络:牛津大学研究组提出,2014年imagenet竞赛定位任务第一名,分类任务第二名。特点:1.泛化性能良好。在imagenet的预训练模型被常用了提取特征。      2.使用了小卷积核,保持输入大小,为了增加网络深度时确保各层输入大小随深度增加而不极具减小。      3.网络卷积层通...

2018-03-19 12:56:10

阅读数:142

评论数:0

AlexNet网络

1.全连接层占了绝大参数。总参数由60M(1M=10^12)2.网络结构:5层卷积+3层全连接+损失层3.网络输入为27*27*3,最终输出为所以类别的概率分布。4.卷积核总共由3种,分别是11*11,5*5,3*3,其中3*3的用了3次5.卷积滑动:第一次卷积滑动4,其余都为16.池化:核都为3...

2018-03-19 12:14:45

阅读数:81

评论数:0

showand tell笔记

2017-04-25 14:17:20

阅读数:748

评论数:0

show and tell 代码调试过程遇到的问题及解决

1.tensorfllow1.0接口改变造成的报错,对应将接口改过来 2.调试模型时可视化出问题: 由于模型设置参数和模型解释器不一而造成可视化出问题,通过修改模型保持一致完成

2017-04-18 15:16:39

阅读数:1224

评论数:0

visual genome 数据集使用

import matplotlib.pyplot as plt from matplotlib.patches import Rectangle from src import api as vg from PIL import Image as PIL_Image import requests...

2017-02-04 16:19:49

阅读数:1388

评论数:1

论文品读之-极限学习机在手写体数字识别中的应用

模式识别部分

2016-08-25 10:39:18

阅读数:640

评论数:1

图像分辨率像素问题的理解

图像由像素点组成, 像素点由REB三种颜色共同编码而成, 一种颜色占8个bit 图像分辨率越大像素点越多,图像显示的越清晰。

2016-08-05 15:18:07

阅读数:167

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭