梯度消失 梯度爆炸

解决方案: 预训练加微调 梯度剪切、正则 relu, leakrelu等激活函数 batchnorm 残差结构 LSTM

2019-04-04 00:08:22

阅读数 4

评论数 0

VGGNet

  有着较深的网络,使用小卷积核。 输入图像的大小为224*224。 5组卷积,卷积核大小3*3。 每组卷积后进行最大池化。 之后是3个全连接层。 最后是1个softmax分类器。   VGGnet能够学习比较复杂的功能,而且有着较低的成本。...

2019-01-17 22:16:04

阅读数 21

评论数 0

机器学习中数据的划分

将数据集分为三个子集:训练集Training Set - 用于训练模型的子集。验证集Validation Set - 用于评估训练集的效果。测试集Test Set - 用于测试训练后模型的子集。使用训练集训练模型,使用验证集评估模型,使用测试集确认模型的效果Train model on Train...

2018-05-09 19:49:17

阅读数 219

评论数 0

Linux下vim的复制、粘贴操作

全部删除:按esc后,进入命令模式,然后按键dG复制至文件尾    yG全部复制:按esc后,按键ggyG全选高亮显示:按esc后,按键ggvG或者ggVG yy    复制游标所在行整行选中文本进行复制    在命令模式下按 v 进入 Visual Mode,然后用 方向键 或 hjkl 选择文...

2018-04-26 16:11:53

阅读数 5476

评论数 0

linux下vim的代码文本的查找

查找指令1、vim中查找分为向上查找’?’和向下查找’/’。例如: :/abc 表示从当前位置开始向下查找abc或者*abc*(*代表任意长度的字符) :?abc 表示从当前位置开始向上查找abc或者*abc* 当然如果你想继续查找是否还有abc出现,可以键入n或者N,n代表向下继续查找,N代表向...

2018-04-25 17:31:59

阅读数 116

评论数 0

linux下错误代码E212: Can't open file for writing

用vi 新建一个文件,vi practice.py, 按i键进入编辑模式输入代码后,按esc进入命令模式然后输入 :wq 进行保存退出,退出不了,一直出现这个提示 意思是不能保存。原因是权限不够,普通用户用vi 进行不了保存,需要使用超级用户才可以命令:sudo su     转换成超级用户   ...

2018-04-23 15:30:43

阅读数 4282

评论数 0

解决linux右上角键盘小图标消失的问题

如果用的是ibus:1. 先把原先的ibus进程kill掉killall  ibus-daemon2. 启动一个新的ibus进程ibus-daemon    -d然后就可以看见键盘图标又出现在右上角了如果使用的是fcitx的小企鹅输入法:1. killall fcitx2. fcitx -d就看到...

2018-04-23 13:48:34

阅读数 1550

评论数 1

hexo安装成功,并且正确运行,但是localhost:4000不能访问

最近在用hexo 搭建github pages 时,遇到一个问题,hexo安装没错,也能成功运行。启动也没错。就是不能访问。原因是:你的电脑端口被占用了。hexo默认的端口是4000,如果你的电脑安装了福昕阅读器,,就是他,没错,坑爹吧!!!!启动hexo s 的时候,用这个命令,换一个端口。he...

2018-04-20 18:31:44

阅读数 196

评论数 0

fatal: the remote end hung up unexpectedly (curl 56 OpenSSL SSL_read:SSL_ERROR_sysCALL)

出现类似上述错误,网上找到的大量解决方案如下:git config http.postBuffer 524288000 12在git bash上运行上述代码就可以,目的是增加缓存空间到500M. 其实两种错误最后都是失败,但提示是不同的:Counting objects: 56, done. De...

2018-04-20 18:28:02

阅读数 937

评论数 0

C++的数据抽象、数据封装

数据抽象仅向用户暴露接口而把具体的实现细节隐藏起来的机制    (而抽象类是指含有虚函数的类)使用访问标签来定义类的抽象接口。一个类可以包含多个或零个访问标签使用公共标签定义的成员都可以访问该程序的所有部分。一个类型的数据抽象视图是由它的公共成员来定义的。使用私有标签定义的成员无法访问到使用类的代...

2018-04-19 11:25:11

阅读数 354

评论数 0

正则化及dropout

综合Stanford university cs231n 课堂、及google 机器学习简介课程,进行了小小的记录~正则化 regularization有助于防止出现过拟合分为:L1 正则化L2 正则化丢弃正则化早停法(这不是正式的正则化方法,但可以有效限制过拟合)dropout 丢弃在每一次前向...

2018-04-15 21:35:51

阅读数 370

评论数 0

神经网络的激活函数

根据学习Stanford university的cs231n课堂视频,我做了一下总结~sigmoid原来挺流行,与大脑神经元的运作很类似饱和神经元将使得梯度消失。输入一个绝对值很大的数,其梯度接近于0,通过链式法则后会让梯度流消失,就无法得到反馈是一个非零中心的函数。梯度更新的效率低使用了指数函数...

2018-04-13 16:50:07

阅读数 195

评论数 0

CIDR地址块的聚合

无类别域间路由(Classless Inter-Domain Routing、CIDR)是一个用于给用户分配IP地址以及在互联网上有效地路由IP数据包的对IP地址进行归类的方法。例:存在3个CIDR地址块:192.168.11.0/27, 192.168.11.32/27, 192.168.11....

2018-04-10 21:23:25

阅读数 1273

评论数 0

数据库之建立索引的特点

优点加快检索速度通过创建唯一性索引,可以保证数据库表中每一行数据的唯一性。加速表和表之间的连接,实现数据的参考完整性。在使用分组和排序子句进行数据检索时,同样可以显著减少查询中分组和排序的时间。缺点创建索引和维护索引要耗费时间,时间随着数据量的增加而增加。除了数据表占数据空间之外,每一个索引还要占...

2018-04-10 17:00:37

阅读数 39

评论数 0

多态、虚函数、纯虚函数、抽象类

多态意味着调用成员函数时,会根据调用函数的对象的类型来执行不同的函数虚函数是C++中用于实现多态的机制形成条件:存在继承关系基类、派生类中有同名虚函数存在基类类型的指针或者引用,通过该指针或引用调用虚函数虚函数是在基类中使用关键字 virtual 声明的函数。在派生类中重新定义基类中定义的虚函数时...

2018-04-10 16:46:05

阅读数 37

评论数 0

神经网络的优化算法

      梯度下降 用来寻找极小值。通过向负梯度方向逼近。 用于在神经网络模型中进行权重更新,即在一个方向上更新和调整模型的参数,来最小化损失函数。   反向传播 先在前向传播中计算输入信号的乘积及其对应的权重,然后将非线性激活函数作用于这些乘积的总和。 然后,在网络的反向...

2018-03-24 17:20:03

阅读数 241

评论数 0

Siamese network

看关于图像质量评价的论文"Deep Neural Networks for No-Reference and Full-Reference Image Quality Assessment" 时,文章对于Siamese network 并没有足够的讲解,于是自己...

2018-03-24 11:33:16

阅读数 761

评论数 1

路由器、交换机、集线器

集线器(hub)广播模式。共享带宽。集线器工作在局域网(LAN)环境,像网卡一样,应用于OSI参考模型第一层,因此又被称为物理层设备。作用可以简单的理解为将一些机器连接起来组成一个局域网。交换机(switch)利用物理地址MAC地址来确定转发数据的目的地址。具备自动寻址能力和交换作用。提高了网络的...

2018-03-23 21:15:17

阅读数 59

评论数 0

计算内存空间

数组 int **a[3][4]; 占多大空间?用右左法则来看,首先往变量a的右边看,是【3】,再往左看,是*,所以它首先是一个指针数组,数组里存放3个指针,然后再往右看是【4】,再往左看,是int *,说明前面3个指针每个指针都指向一个数组,每个数组里存放4个int *类型的指针,所以3*4有1...

2018-03-20 20:13:42

阅读数 175

评论数 0

auto, static, extern

auto 局部变量     auto 变量是用堆栈(stack)方式占用储存器空间,因此,当执行此区段是,系统会立即为这个变量分配存储器空间,而程序执行完后,这个堆栈立即被系统收回.在大括号{}内声明。     自动变量就是指在函数内部定义使用的变量。他只是允许在定义他的函数内部使用它。在函数外的...

2018-03-20 16:34:41

阅读数 35

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭