深度学习
文章平均质量分 64
啊准备实习啊
tsstaitixu
yes
展开
-
来捋一捋SVM吧
SVM,go~硬间隔优化目标KKT 条件对偶问题强对偶条件构造对偶问题凸优化问题硬间隔优化目标能将所有样本点正确分类的几何间距最大的超平面。argmaxw,bγs.t.yi(wT∣∣w∣∣xi+b∣∣w∣∣)≥γ,∀i\mathop{argmax}\limits_{w,b} \gamma \quad s.t.\quad y_i(\frac{w^T}{||w||}x_i+\frac...原创 2020-04-06 22:12:32 · 238 阅读 · 0 评论 -
凸优化
凸优化定义&充要条件凸优化定义&充要条件凸优化方法参考资料:简明详述最小二乘直接对参数求导=0,求出解析解优点:没有超参数、快缺点:如果样本量很大,那么求逆操作复杂度比较高梯度下降沿一阶导相反方向更新牛顿迭代法牛顿迭代法可以通过迭代逼近f(x)=0的解,我们使用这个方法来计算导数=0的解。优点:引入二阶导信息,更快缺点:Hessian矩阵求逆...原创 2020-03-29 16:36:21 · 139 阅读 · 0 评论 -
机器学习理论分析
Scenario 训练场景 由拿到的数据决定task 任务类型 由想得到的输出决定method 所选择的function set只是specialize了Classifacaiton 的具体分类,但是每个senerio 都包含这些task, 每个task 都包含这些method。...原创 2020-02-22 20:12:37 · 215 阅读 · 0 评论 -
各种卷积操作
反卷积(Deconvolution)目的:对图片上采样,获得更大尺寸图片方式:对图像填空洞出处:FCN-原conv不含padding:-原conv含padding:空洞/扩张卷积(Dilated/Atrous Convolution)目的:增大感受野又不减小图像大小,替代pooling和up-sampling方式:对卷积核填空洞 感受野指数级增长出处:Dilated Resi...原创 2020-03-29 20:54:07 · 309 阅读 · 0 评论 -
深度学习训练过程中的问题&解决
初始学习率设定可以从0.0001到0.1每次扩大10倍试验,直到验证集上的loss增大。一般0.01-0.1左右样本不平衡问题解决方式采样层面过采样&降采样基础版本的过采样:随机过采样训练样本中数量比较少的数据;缺点,容易过拟合;改进版本的过采样:SMOTE,通过插值的方式加入近邻的数据点;神经网络中的过采样:SGD训练时,保证每个batch内部样本均衡。改变...原创 2020-03-29 20:52:18 · 914 阅读 · 0 评论 -
GAN 原理
各种散度交叉熵KL散度不对称性 非负性JS 散度对称性 0-1之间 越小越相似GAN 原理根据原始GAN定义的判别器loss,我们可以得到最优判别器的形式;而在最优判别器下,可以把原始GAN定义的生成器loss等价变换为最小化真实分布PrP_rPr与生成分布PgP_gPg之间的JS散度。固定G,求出最优的D,然后代入max DV(G,D),得到的是JS散度,最小为...原创 2020-03-06 15:29:46 · 325 阅读 · 0 评论 -
其他流行网络
SE-Net在通道方向上的注意力机制流程首先对图片进行卷积运算,然后对于feature map进行global average pooling(squeeze),把它变成1x1xC的向量,然后通过两层FC(excitation),乘以它初始的feature map,作为下一级的输入。为啥加两个FC加上两个FC的原因是,如果他只对feature map做pooling,只是对当前的i...原创 2020-02-27 20:09:56 · 156 阅读 · 1 评论 -
CNN
CNNcnn 特点 优势局部卷积 有利于提取局部特征权值共享 更少的参数量 容易操作pooling层 降维,低层次特征提取出高层次特征多层级结构 可建模出复杂模型Parameters、FLOPs对于一个卷积层,假设 kernel 大小为 H′∗W′H' * W'H′∗W′ , CinC_{in}Cin为input channel, CoutC_{out}Cout为output...原创 2020-02-25 19:47:57 · 212 阅读 · 0 评论 -
深度学习优化方式
学习率优化 优化方法学习率衰减自适应学习率调整(学习率优化)Momentum 动量法Nesterov牛顿动量法(根据累计梯度计算提前点)Adagrad(累计梯度反比)RMSprop(滑动窗口)AdaDelta(自适应学习率)Adam算法优化方法学习率衰减等间隔调整学习率 StepLR多间隔调整学习率 MultiStepLR指数衰减调整学习率 ExponentialLR余弦退火函数调整...原创 2020-02-22 10:50:32 · 559 阅读 · 0 评论