深度学习
文章平均质量分 78
时光机゚
为了我的名字~。~
展开
-
【论文阅读笔记】An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modelin
论文地址:An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling代码地址:https://github.com/LOCUSLAB/tcn论文总结 本文的方法名为TCN,本文没提出什么新的东西,主要是使用Causal Conv,Dilated Conv和residual block对时序序列进行预测,同时与传统的时序模型LSTM等循环和递归网络结构进行对比。然后在多个不同原创 2021-01-29 12:10:50 · 1073 阅读 · 0 评论 -
图像分割
DenseNet(2017年)参考和搬运来源: CVPR 2017最佳论文作者解读:DenseNet 的“what”、“why”和“how”|CVPR 2017 DenseNet算法详解网络参考 DenseNet参考了ResNet和GoogleNet的优点:ResNet的特征passthrough layer(但ResNet的pass layer的特征是相加的形式,破坏了特征在网...原创 2018-08-11 21:12:29 · 2731 阅读 · 0 评论 -
卷积层代替全连接层
为什么卷积层可以“代替”全连接层? 卷积和全连接的区别大致在于:卷积是局部连接,计算局部信息;全连接是全局连接,计算全局信息。(但二者都是采用的点积运算) 但如果卷积核的kernel_size和输入feature maps的size一样,那么相当于该卷积核计算了全部feature maps的信息,则相当于是一个kernel_size∗1kernel_size∗1kernel\_size...原创 2018-08-01 21:01:20 · 13982 阅读 · 10 评论 -
EM(Expectation Maximization)算法
在现实数据中,我们经常会遇到一些“不完整”的样本,如某些样本的属性值未知,某些样本的标签未知,这些未知的属性值统称为隐变量。由于隐变量的存在,我们不能直接通过极大似然估计求出模型的参数,而EM算法在这些为观测属性的情况下仍能对模型参数进行估计。EM算法是一种迭代优化策略,在每一次迭代过程中都包含两部:1. 求期望 2. 最大化。 EM算法的基本思想是:首先根据已经给出的观测数据(无缺失数...原创 2018-04-18 21:45:45 · 292 阅读 · 0 评论 -
半监督学习
背景 随着数据收集和存储技术的迅速发展,获取大量未标记的数据已相当容易,而获取大量有标记的数据则相当困难(需要耗费大量的人力和物力)。比如,在医学图像中,从医院收集大量的医学图像是可能的,但是要医生将这个图像逐个标记,则是不现实的。所以,如何在只有较少有标数据的情况下,利用好未标记的数据来改善模型的性能已成为当前机器学习研究中最受关注的方向之一。目前,利用未标记数据的学习技术主要有三种:...原创 2018-04-18 16:53:54 · 808 阅读 · 0 评论 -
自动编码器及其变种
自动编码器 三层网络结构:输入层,编码层(隐藏层),解码层。 训练结束后,网络可由两部分组成:1)输入层和中间层,用这个网络对信号进行压缩;2)中间层和输出层,用这个网络对压缩的信号进行还原。图像匹配就可以分别使用,首先将图片库使用第一部分网络得到降维后的向量,再讲自己的图片降维后与库向量进行匹配,找出向量距离最近的一张或几张图片,直接输出或还原为原图像再匹配。 该网络的目的是重...原创 2018-03-20 12:47:12 · 1864 阅读 · 0 评论 -
DNN常见激活函数与其求导公式及来源
Sigmoid 函数 f1(x)=11+e−xf_1(x)=\frac1{1+e^{-x}} f1(x)f_1(x)的导函数为:ddxf1(x)=f1(x)(1−f1(x))\frac{d}{\mathrm{d}x}f_1(x) = f_1(x)(1-f_1(x))tanh函数sinh(x)=ex−e−x2sinh(x)=\frac{e^x-e^{-x}}2 cosh(x)=ex+e−x2原创 2018-01-05 16:29:06 · 7973 阅读 · 0 评论 -
Python 操作记录
转换图片的channel: photo = np.rollaxis(photo, pos)rgb图片转为gray图片: def rgb2gray(photo): return np.dot(photo[…, :3], [0.299, 0.587, 0.114])原创 2017-12-15 20:50:28 · 613 阅读 · 0 评论 -
神经网络各优化方法
什么是优化方法 优化方法,是通过某种训练模式最小化误差(损失)函数的算法。 损失函数度量基于模型参数的模型预测值与真实值之间的偏差程度,在神经网络中是基于w(权重)和b(偏置)的函数。我们通过优化方法更新模型参数,从而让模型预测值更符合预期;优化方法可以分为两类:一阶优化方法 这种优化方法通过计算导数dE/dw(误差函数对权重的导数)得到该权重最佳减小方向,从而优化模型;在多变量的情原创 2017-12-14 10:44:49 · 3179 阅读 · 0 评论 -
卷积神经网络应用之图像分割
SPP结构主要学自该博客:深度学习(十九)基于空间金字塔池化的卷积神经网络物体检测FNC FNC主要做的是基于像素的图像分割预测。其做法是先按照传统的CNN结构得到feature map,将传统的全连接层替换成相应的卷积层。如最后一层特征图尺寸为5∗5∗5125*5*512,对应的全连接层的尺寸为4096,则需要5∗5∗512∗40965*5*512*4096个参数,将该参数变成卷积核,ker原创 2017-11-20 00:40:57 · 7647 阅读 · 1 评论