![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
独鹿
啊哈
展开
-
showand tell笔记
原创 2017-04-25 14:17:20 · 1302 阅读 · 0 评论 -
二值网络记录
1. 所有参数都是+-12. 单精度浮点表示32,二值表示13. 训练基于梯度下降,二值无法算梯度,不能更新权重4. 向前权重用二值,更新用单精度,这样会收敛到满意值5. 二值过程:直接通过x_b=sing(x)正负二值6. 通过随机数概率来二值7. 二值梯度计算,放松二值函数,【-1,1】的梯度为1,其余为08. 训练:前向对权重二值,反传用单精度...原创 2018-03-20 12:46:52 · 257 阅读 · 0 评论 -
残差网络简单记录
实验和理论证明,神经网络深度和宽度是表示网络的两个核心因素,但深度比宽度在增加复杂性方面更有效(VGG模型)。但随着网络加深,训练会越来越麻烦,误差信号的多层反向会引起梯度消失(回传过程中训练误差及其微弱),和梯度爆炸(梯度过大,导致训练出现Nan)现象。目前概述梯度这些现象的策略有:权重初始化策略,批量规范化策略。但随着网络加深,训练误差不降反而升高了,(一般线性能求得好的解,那么它对应的深层网...原创 2018-03-19 16:29:43 · 748 阅读 · 0 评论 -
VGG_net
Vgg网络:牛津大学研究组提出,2014年imagenet竞赛定位任务第一名,分类任务第二名。特点:1.泛化性能良好。在imagenet的预训练模型被常用了提取特征。 2.使用了小卷积核,保持输入大小,为了增加网络深度时确保各层输入大小随深度增加而不极具减小。 3.网络卷积层通道数一次3---64---128---256---512逐渐增加结构:1. 卷积核都用3*3的小...原创 2018-03-19 12:56:10 · 768 阅读 · 0 评论 -
AlexNet网络
1.全连接层占了绝大参数。总参数由60M(1M=10^12)2.网络结构:5层卷积+3层全连接+损失层3.网络输入为27*27*3,最终输出为所以类别的概率分布。4.卷积核总共由3种,分别是11*11,5*5,3*3,其中3*3的用了3次5.卷积滑动:第一次卷积滑动4,其余都为16.池化:核都为3*3,滑动都为2*27.神经元大小分别经过了:55---27---13---6---18.输出维度分别...原创 2018-03-19 12:14:45 · 225 阅读 · 0 评论 -
激活函数的理解
卷积是将输入和卷积核做卷积运算的结果,为了缓解过拟合或其他原因可以加一个偏置b激活函数的作用是将输入的数据映射到一个范围之内,个人感觉和预处理数据是一个意思。比如我们对数据进行归一化等操作原创 2017-11-29 12:24:07 · 404 阅读 · 0 评论 -
python图像操作
import numpy as npimport matplotlib.image as mpimgfrom PIL import Imageimport matplotlib.pyplot as pltz = Image.open('pig.jpg')box=(450,450,600,600)reg = z.crop(box)reg.show()reg = reg原创 2017-08-22 21:13:09 · 292 阅读 · 0 评论 -
How to Install Caffe on Ubuntu14.04
相关依赖安装caffe安装 下载caffe:https://github.com/BVLC/caffe/解压后配置Makefile.config文件 cp Makefile.config.example Makefile.config Makefile.config中: python位置,matlab位置,CPU_only:=1….(去看看文件里面的内容结合自己电脑情况就可以自己知道怎么原创 2016-11-24 16:03:16 · 271 阅读 · 0 评论 -
elm之入门相关
RVFL (random vector Functional-link net )转载 2016-08-22 17:08:03 · 918 阅读 · 0 评论 -
论文品读之-极限学习机在手写体数字识别中的应用
模式识别部分原创 2016-08-25 10:39:18 · 1187 阅读 · 1 评论 -
jupyter 学习
一ipython交互接口有的浏览器不支持显示,换谷歌或firefox倒入 py文件% 文件名原创 2017-03-05 15:05:19 · 299 阅读 · 0 评论 -
TENSORFLOW1.0运行之前版本代码报错解决
1报错位置:.tf.scalar_summary('batch_loss', loss)AttributeError: 'module' object has no attribute 'scalar_summary'修改为:tf.summary.scalar('batch_loss', loss)原因:新版本做了调整2.AttributeError: 'module' object has原创 2017-04-13 11:02:27 · 12851 阅读 · 8 评论 -
show and tell 代码调试过程遇到的问题及解决
1.tensorfllow1.0接口改变造成的报错,对应将接口改过来2.调试模型时可视化出问题: 由于模型设置参数和模型解释器不一而造成可视化出问题,通过修改模型保持一致完成原创 2017-04-18 15:16:39 · 1990 阅读 · 1 评论 -
知识蒸馏,紧凑的网络结构简单记录
知识蒸馏:迁移学习的一种,目的是将庞大网络学到的知识转移到小的网络模型上,即不改变网络复杂度的情况下,通过增加监督信息的丰富程度来提升性能。关键点:1.知识获取 2.知识转移常见集中思想:1. softmax层的输入比类别标签包含更多的监督信息,使用logistics代替类别标签对小模型进行训练,将小模型训练转化为了回归问题。让小模型输出尽量接近大模型的logits。因为小模型隐层要足够宽...原创 2018-03-20 14:18:23 · 2312 阅读 · 0 评论