- 博客(37)
- 收藏
- 关注
RSS订阅原创 Style transfer GAN
Style transfer GANcganpix2pixcycle ganstargancgany:条件 x:gtpix2pixx:cGAN的条件 y:gtcgan: 输入图片>, 虚假图片>l1:虚假图片>cycle ganstargan
2020-05-15 11:07:27
705
原创 来捋一捋SVM吧
SVM，go~硬间隔优化目标KKT 条件对偶问题强对偶条件构造对偶问题凸优化问题硬间隔优化目标能将所有样本点正确分类的几何间距最大的超平面。argmaxw,bγs.t.yi(wT∣∣w∣∣xi+b∣∣w∣∣)≥γ,∀i\mathop{argmax}\limits_{w,b} \gamma \quad s.t.\quad y_i(\frac{w^T}{||w||}x_i+\frac...
2020-04-06 22:12:32
238
原创 各种卷积操作
反卷积(Deconvolution)目的：对图片上采样，获得更大尺寸图片方式：对图像填空洞出处：FCN-原conv不含padding:-原conv含padding:空洞/扩张卷积(Dilated/Atrous Convolution)目的：增大感受野又不减小图像大小，替代pooling和up-sampling方式：对卷积核填空洞 感受野指数级增长出处：Dilated Resi...
2020-03-29 20:54:07
309
原创 深度学习训练过程中的问题&解决
初始学习率设定可以从0.0001到0.1每次扩大10倍试验，直到验证集上的loss增大。一般0.01-0.1左右样本不平衡问题解决方式采样层面过采样&降采样基础版本的过采样：随机过采样训练样本中数量比较少的数据；缺点，容易过拟合；改进版本的过采样：SMOTE，通过插值的方式加入近邻的数据点；神经网络中的过采样：SGD训练时，保证每个batch内部样本均衡。改变...
2020-03-29 20:52:18
914
原创 凸优化
凸优化定义&充要条件凸优化定义&充要条件凸优化方法参考资料：简明详述最小二乘直接对参数求导=0，求出解析解优点：没有超参数、快缺点：如果样本量很大，那么求逆操作复杂度比较高梯度下降沿一阶导相反方向更新牛顿迭代法牛顿迭代法可以通过迭代逼近f(x）=0的解，我们使用这个方法来计算导数=0的解。优点：引入二阶导信息，更快缺点：Hessian矩阵求逆...
2020-03-29 16:36:21
139
原创 项目相关被问到的
Resnet-50Motivation:深层次的网络往往能够提取到更丰富的特征，但是随着网络层数的加深会出现网络退化的现象，也就是随着网络的加深性能变弱了。Resnet50在网络层间加shutcut connection，实际网络学习的目标是一个残差项。如果当前网络已经达到最优，不需要再加深，那么接下来网络层的residual mapping部分会被push为0，只有identity ma...
2020-03-18 16:42:25
146
原创 Unsupervised 论文记录
DeepclusterDeep Clustering for Unsupervised Learning of Visual Features链接：Deepcluster使用聚类算法产生标签（pseudo-labels）指导分类器分类。聚类算法和分类器使用同一个feature extractor。DeeperClusterDeep cluster + self-supervise( 预...
2020-03-15 22:03:25
127
原创 GCN论文阅读记录
basic model半监督分类Semi-Supervised Classification with Graph Convolutional Networks. ICLR 2017. 论文地址Thomas N. Kipf, Max Welling.
2020-03-15 19:01:22
247
原创 Classification loss
为何在识别领域表现不好？其原因在于Softmax本身的定义，它正式是softmax函数加上交叉熵损失。其目的是使所有类在概率空间中具有最大的对数似然性，即确保所有类别都被正确分类，以及撤销和验证任务需要的是具有更好泛化性能的度量空间。一个度量空间，保证正确的分类并保证良好的泛化。虽然相关性很强，但并不直接相同。Softmax能够放大微小类别之间的logit差异Focal lossmotiv...
2020-03-10 22:22:45
1687
原创 GAN 原理
各种散度交叉熵KL散度不对称性 非负性JS 散度对称性 0-1之间 越小越相似GAN 原理根据原始GAN定义的判别器loss，我们可以得到最优判别器的形式；而在最优判别器下,可以把原始GAN定义的生成器loss等价变换为最小化真实分布PrP_rPr与生成分布PgP_gPg之间的JS散度。固定G，求出最优的D，然后代入max DV（G，D）,得到的是JS散度，最小为...
2020-03-06 15:29:46
325
原创 深度学习re-id综述
特征提取global featureattentionlocal feature人体部分/区域特征的集合，解决对齐问题，身体部分由人体姿态构建或者粗略的垂直分割完成Auxilary 辅助方法需要额外的标注信息语意属性标注viewcameradata augumentation位姿约束guild 指导符合原来的分类相机风格信息camstyle将...
2020-03-05 21:06:41
1660
原创 C++知识
C++编译过程预处理展开所有宏定义，没有条件编译指令，删除特殊符号编译将预处理完的文件进行一系列词法分析、语法分析、语义分析及优化后，产生相应的汇编代码文件。汇编将编译完的汇编代码文件翻译成机器指令，并生成可重定位目标程序的.o文件，该文件为二进制文件，字节编码是机器指令。4.链接通过链接器将一个个目标文件（或许还会有库文件）链接在一起生成一个完整的可执行程序。将生成的.obj...
2020-03-05 12:26:03
104
原创 边边角角c++
宏定义函数省略参数类型 （）里是返回值#define EXTERN16BYTE(x) ((x + 15) / 16 * 16)#define isLeap(n) (n%400==0||(n%4==0&&n%100!=0)?1:0)
2020-02-29 16:36:03
130
原创 ReID相关知识
名词gallery probegallery set – 参考图像集，即公认的标准行人库，测试用；probe set – 待查询图像集，也叫query set，测试用。single gallery shot和muti gallery shotgallery 中同一id出现的数量single gallery shot – 指gallery中每个人的图像为一张（N=1）；muti ga...
2020-02-29 11:45:34
187
原创 其他流行网络
SE-Net在通道方向上的注意力机制流程首先对图片进行卷积运算，然后对于feature map进行global average pooling（squeeze），把它变成1x1xC的向量，然后通过两层FC（excitation），乘以它初始的feature map，作为下一级的输入。为啥加两个FC加上两个FC的原因是，如果他只对feature map做pooling，只是对当前的i...
2020-02-27 20:09:56
156
1
原创 最小二乘法
基于误差随机理论如果误差是随机的，应该围绕真值上下波动所谓“二乘”就是平方的意思，台湾直接翻译为最小平方法。概率论角度理解对误差的概率密度函数求最大似然当 误差的概率密度函数服从正态分布时即L(x)取得最大值可证明...
2020-02-26 16:11:32
87
原创 CNN
CNNcnn 特点 优势局部卷积 有利于提取局部特征权值共享 更少的参数量 容易操作pooling层 降维，低层次特征提取出高层次特征多层级结构 可建模出复杂模型Parameters、FLOPs对于一个卷积层，假设 kernel 大小为 H′∗W′H' * W'H′∗W′ , CinC_{in}Cin为input channel, CoutC_{out}Cout为output...
2020-02-25 19:47:57
212
原创 排序总结
文章目录基于比较操作交换排序冒泡排序快速排序插入排序直接插入排序希尔排序选择排序简单选择排序堆排序归并排序普通归并排序基于比较排序的算法复杂度理论下界非比较排序计数排序算法稳定性详解基于比较操作交换排序冒泡排序class Solution {public: vector<int> sortArray(vector<int>& nums) { ...
2020-02-24 20:50:06
122
原创 机器学习理论分析
Scenario 训练场景 由拿到的数据决定task 任务类型 由想得到的输出决定method 所选择的function set只是specialize了Classifacaiton 的具体分类，但是每个senerio 都包含这些task, 每个task 都包含这些method。...
2020-02-22 20:12:37
215
原创 机器学习
概率分类模型SVMSVM的目标就是要希望找到距离分割超平面最近的点，让它们距离超平面距离尽可能大，这个距离被称为间隔(margin)，几何间隔
2020-02-22 17:48:54
105
原创 深度学习优化方式
学习率优化 优化方法学习率衰减自适应学习率调整（学习率优化）Momentum 动量法Nesterov牛顿动量法(根据累计梯度计算提前点)Adagrad（累计梯度反比）RMSprop（滑动窗口）AdaDelta(自适应学习率)Adam算法优化方法学习率衰减等间隔调整学习率 StepLR多间隔调整学习率 MultiStepLR指数衰减调整学习率 ExponentialLR余弦退火函数调整...
2020-02-22 10:50:32
559
原创 深度神经网络
梯度下降定义梯度：函数在某一点的梯度是这样一个向量，它的方向与取得最大方向导数的方向一致，而它的模为方向导数的最大值。说人话！ 梯度的方向是函数变化速度最快的方向BP backpropagation用来加速gradient decient, 使用链式法则常用BP 算法 SGD,ADAM…极值点、驻点、鞍点、拐点极值点：函数从递增变换到递减，或者从递减变换到递增的点，不一定可导驻...
2020-02-20 16:17:39
225
原创 原码 反码 补码
负数反码相当于：要求正数和相反数相加=0负数补码相当于： 先向最高位（溢出位）借一，计算出结果因为这一位是溢出位，在计算机中表示不出来，所以再进行计算的时候即使因为借的这一位导致了进一，也是溢出的，表示不出来，所以补码是复数绝对值的同余数。求补码理解：负数反码+对应正数=全1，再加1就溢出，即为同余数的模最右侧1及以后不变，前面数字0变1，1变0：补码=借的1-对应正数，那么到最右侧...
2019-12-03 14:30:15
124
原创 刷题哇
Vector一维vector<int> a(10, 1);a.push_back(2);a.size() ;二维vector<vector<int> > v(3);for(int i = 0;i < v.size(); ++i) for(int j = 0; j < 4; ++j) v[i]...
2019-11-13 18:14:34
86
原创 Muti-scale related papers
PAPERSOmni-Scale说明问题创新点Omni-ScaleAG gateResidual 解释Light weight对比对象Ablation study可视化Multi-Level Factorisation Net for Person Re-Identification问题描述创新点Omni-Scale说明问题homogeneous scales，多个尺度的feature分别比...
2019-08-30 08:58:08
205
原创 Meta Learning
Meta LearningDefinitionDefinition训练一个函数来指导主函数的训练（红框中的"超参"）Loss func:所有test task的loss 之和通常用于 N-ways K-shot Classification (N classes K samples)...
2019-08-26 11:16:35
159
原创 Life Long Learning
与其他方法区别Muti-task Learning每个任务的训练资料都需要囊括，且要训练每一个任务，对存储和计算资源的严峻挑战，可作为LLL的upper boundTransfer Learning从任务A transfer 到任务B ，只要求在任务B上表现号即可，LLL要求在A、B上的表现都好Evaluation学了新的不忘旧Constraint-based加一个带守卫（...
2019-08-21 15:49:58
646
原创 Explainable machine learning
可解释性和网络能力一般难两全Local Explanation为什么你认为这个图片属于类别y?Remove-based将部分移除，如果对结果影响大那么说明该部分重要（移除部分大小？）Gradient-basedytruey_{true}ytrue对输入做微分，值比较大的像素点重要Model-based使用一个简单网络来模拟另一个网络的一部分Linear(LIME)...
2019-08-21 15:29:39
403
原创 Adversarial Attack
Attack尝试解释：在某个维度上，该类别的分布过于狭小陡峭，以至于稍微移动一点就到了别的不相关类别。White-box attackloss func对图片进行optimition,使得网络输出远离正确输出，接近指定输出（Targeted Attack）。在一定约束下（更改不要太明显以至被发现）constraint定义与实现与原图片的距离函数，可选用l2-norm\L-infini...
2019-08-21 15:06:32
1383
原创 Anomaly Detection
背景定义：找出异常（与训练资料相异 的data）应用：欺诈检测、网络入侵检测、癌症检测与二分类的区别：异常数据不能被简单视为一类难以获取异常数据带标签异常检测训练一个分类器，将置信度（分类最高分or crossentropy）与threshold 比较。threshold的设定取决于f(x)在Dev dataset 上的表现不带标签异常检测基于分布得出数据分布p...
2019-08-21 14:43:33
234
原创 机器学习的下一步 笔记 -1 总览
知道“我不知道” -Anomaly Detection解释为什么“我知道” - Explainable AI恶意攻击 - Adversarial Attack终身学习 - Life-long Learning学习如何学习 - Meta Learning增强学习 - Reinforcement Learning神经网络压缩 Network Compression...
2019-08-21 10:59:50
75
原创 经典深度分类网络
经典深度分类网络AlexNetVGGInception v1ResnetAlexNet特征开山之作，使用ReLU、LRN、Dropout、Overlapping pooling(stride<kernel)架构图VGG特征cov3x3 pad=stride=1 不改变特征图大小con3x3+conv3x3=conv5x5con3x3+conv3x3=conv5x...
2019-08-13 10:59:49
1571
原创 Transfer Learning&GAN
Unsupervised TransferGenerate To Adapt: Aligning Domains using Generative Adversarial Networks1.Mainusing unlabeled target data help transfer(target image&amp;class seen)2.structure3. Loss Func...
2018-10-25 12:21:15
598
原创 Applyment of I2I(Style Transfer)
CartoonGAN1.Style:normal-&gt;cartoon2.Network Strucure3.Loss FuncAdversarial loss(!! without edge:fake)Content Loss：pretrianed VGGTotal4.MetricQualitative :images5.DataSetsPhotos:Fli...
2018-10-19 15:15:02
360
原创 Unsupervised Conditional Generation*Domain Transfer
UnsupervisedConditional Generation*Domain TransferCycleGAN1.Main Porpose2.Structure3.Loss Func4.Metrics5.DatasetsStarGAN1. Main Porpose2.Structure3. Loss Func4. Metric5.DataSets6.Other ContributionPa...
2018-10-19 14:39:11
212
原创 ConditionalGAN
Conditional GANAC-GANAC-GANConditional Image Synthesis with Auxiliary Classifier GANsMain porposeGenerate images employ lable conditioning.Loss FuncG: Maximum LC-lSD: Maximum LSNet S...
2018-10-12 09:37:09
150
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人