ML&DL
文章平均质量分 76
锥栗
这个作者很懒,什么都没留下…
展开
-
【科研】【ReID】科研论文怎么写?八股文写作思路
然后着重强调一下本文方法所要解决的问题,你解决了什么痛点,就要把这个痛点的“严重性”写出来。明白Introduction怎么写,其它部分的写作其实就是模型细节的陈述,实验细节的陈述,和重复强调Introduction中提出的观点(存在痛点!科研论文虽然是八股文,但是能经历了百年的发展而来,有它的合理性。因此,为了解决这些问题,文章提出了一种模型框架,更好地挖掘行人重识别的语义对齐信息表征。However,它们没解决好这个痛点,存在xxxx的劣势。However,它们没解决好这个痛点,存在xxxx的劣势。原创 2023-02-27 19:10:14 · 536 阅读 · 0 评论 -
【学习笔记】李宏毅2020ML&DL课程 13_2 Unsupervised Learning
Neighbor embedding - manifold learningLLE地球就是一个流形流形学习就是将高维的(流形的)feature的摊平,摊平之后就可以用欧氏距离了。假设空间中有两个点xi和xj,他们俩的关系为wijLLE方法就是找到Zfunction这需要调整LLE 的neighbor选几个拉普拉斯特征图将相似度高的点连起来成为一个grapht-SNE如右图,图片data中有些点形成了一些圈圈,意味着有些object虽然很像,但是旋转之后(换个角度)看完全不一原创 2020-05-14 16:44:02 · 435 阅读 · 0 评论 -
【学习笔记】李宏毅2020ML&DL课程 13_1 Unsupervised Learning
Clustering选择适当的cluster,有比较empirical的方法。最常用的方法K-means:假设要把X分成K个clusters找center,要K个clusters就需要K个center。可以随即找K个vector作为K个center。然后重复以下的事情:1)对training data每一个的x,判断他们属于1到K的哪个cluster,假设跟第i个cluster最接近的话,那么他就属于第i个cluster,binary就为1,反之为0.2)接下来update cluster,原创 2020-05-09 10:19:37 · 620 阅读 · 0 评论 -
【ML&DL】【skimming】ACNet: Strengthening the Kernel Skeletons for Powerful CNN
略读2019 ICCV的ACNet: Strengthening the Kernel Skeletons for Powerful CNN via AsymmetricConvolution Blocks[1],文章将普通的方形核卷积分解成了竖条纹卷积核横条纹卷积,与方形核卷积相结合,能够做到不带来任何负担的提点,并且可以嵌入到任何一个现成的CNN框架中。痛点许多对于CNN的改进多半集中在...原创 2020-05-01 17:31:44 · 470 阅读 · 1 评论 -
【ML&DL】【skimming】Strip Pooling: Rethinking Spatial Pooling for Scene Parsing
一篇有意思的文章,CVPR 2020的Strip Pooling: Rethinking Spatial Pooling for Scene Parsing[1],文章从空间池化的基础上提出了(分解出了)条纹卷积,并基于此构筑了场景解析(语义分割)的网络,达到了新的SOTA。文章写得挺好的,不过我不是做语义分割的,所以我还是略读了。痛点与只在一个小方框中采集信息的传统空间池化结构不同,文章提出......原创 2020-04-29 18:27:35 · 528 阅读 · 0 评论 -
【ML&DL】【skimming】Global Optimality in Neural Network Training
补了一下2017年的CVPR,Global Optimality in Neural Network Training[1]论文一览:痛点深度学习取得了很大的成功,但是对其成功原因的数学解释却还是一个难点。很大一个原因是对深度网络的参数学习是一个非凸的过程。而优化算法有陷入非global minima的可能。凸优化问题的局部极小值也是全局极小值,因此学习问题的凸公式通常更可取,因为它们有助...原创 2020-04-14 17:52:06 · 208 阅读 · 0 评论 -
【学习笔记】李宏毅2020ML&DL课程 1_6-6_6 Network Compression
Network Compression 1_6先train好一个大的network,然后评估network中哪些neuron重要,哪些不重要。如果weight接近0可能是不重要的weight。给一个input,如果output几乎都是0,那这个neuron就不重要。将这些neuron按照重要性排序,移除不重要的weight和neuron。移除最不重要的weight或neuron,所以perfo...原创 2020-04-14 15:56:59 · 243 阅读 · 0 评论 -
【ML&DL】【skimming】On the saddle point problem for non-convex optimization
补一下经典,2014年Yoshua Bengio的On the saddle point problem for non-convexoptimization。论文一览:痛点深度学习一个主要问题就是要在一个连续高维的空间中去最小化非凸的损失函数。人们使用的方法经常是梯度下降或者拟牛顿法,这些方法找到全局最小值的主要困难源自局部极小值的扩散,其误差远高于全局最小值。但是本文认为,真正需要...原创 2020-04-12 16:29:58 · 396 阅读 · 0 评论 -
【ML&DL】【skimming】The Loss Surfaces of Multilayer Networks
补了一下Yann LeCun的经典工作The Loss Surfaces of Multilayer Networks[1]痛点文章假设并且陆续证明了这样一些事情:1)对于大网络(large size network)而言,绝大多数局部极小值在test上的表现是差不多的,且这些local minima跟global minima的表现也是差不多的。2)小网络找到差的局部极小值(鞍点或比较大...原创 2020-04-11 16:59:33 · 388 阅读 · 0 评论 -
【学习笔记】李宏毅2020ML&DL课程 Conjecture about deeplearning
Conjecture about deep learninglearning跟optimization不一样。实际上local minima不用担心,local minima跟global minima是差不多的。但如果在training set上找一个loss最小点,可能是local minima,而local minima的loss和global minima的loss其实差不多的,所以找到...原创 2020-04-11 15:12:32 · 195 阅读 · 0 评论 -
【学习笔记】李宏毅2020ML&DL课程 1_8 - 8_8 Attack ML model
Attack ML model 2_8攻击网络,即找一张图片,使得loss(cross-entropy loss)越大越好,此时网络的参数训练完了,要被冻住,不能改变,而是只改变输入,使我们找到这样一张图片,能够让结果“越错越好”,离正确答案越远越好但是还需要跟错误答案越接近越好这个负样本x’还需要跟x0够靠近,靠近到人没法发现。约束如下,有两种方法。他们的L2是一样的,但是就人...原创 2020-04-10 16:37:59 · 259 阅读 · 0 评论 -
【学习笔记】李宏毅2020ML&DL课程 1_8-8_8 explanable ML
ML Lecture 1_8 explanable MLexplanable ML不一定是要完全知道ML如何work,而是让人觉得舒服,觉得合理,觉得爽。不能因为DL无法解释所以就不用他,这是削足适履。该用DL还得用,只是希望DL能够得到解释ML Lecture 3_8 explanable ML local explanation数码宝贝和宝可梦的分类,人的感觉是比较困难的“胡乱...原创 2020-04-05 18:18:37 · 208 阅读 · 0 评论 -
【学习笔记】李宏毅2020ML&DL课程 1 regression 9 DNN tips 10 CNN 21-1,21-2 RNN
ML Lecture 1 Regressiontraining loss 都很高 -> underfitting->改善模型,增加featurestraining loss 很低但test loss 很高 -> overfitting -> more data,regularizationML Lecture 9-1 Tips for training DNNL2 ...原创 2020-04-03 08:27:45 · 213 阅读 · 0 评论