![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
学习笔记
文章平均质量分 90
luputo
这个作者很懒,什么都没留下…
展开
-
第六十五周学习笔记
第六十五周学习笔记论文阅读caption parsingMattNet代码原创 2019-11-01 21:39:48 · 378 阅读 · 1 评论 -
第六十四周学习笔记
第六十四周学习笔记实验结果简单用不同指标训练了几个saliency model结果如图效果都一般,模型仍有很多部分需要确认用我自己的版本(4000+)个fixation结果:结论感觉网络结构没写对,特别是上采样部分,下周任务是对这部分进行修改,换成FCN试试看上周任务完成情况论文阅读Saliency modelSaliency和caption model结合均未完...原创 2019-10-25 16:20:12 · 246 阅读 · 1 评论 -
第六十三周学习笔记
第六十三周学习笔记论文阅读概述DEEP GAZE I: BOOSTING SALIENCY PREDICTION WITH FEATURE MAPS TRAINED ON IMAGENET: This article introduces a deep saliency map prediction model which use ImageNet pretrained model to g...原创 2019-10-18 20:50:47 · 401 阅读 · 0 评论 -
第六十二周学习笔记
总是attend到某几个位置non visual word的影响很大如果仅仅考虑visual word生成时候的attention会不会更好原创 2019-10-12 17:31:06 · 698 阅读 · 0 评论 -
第四十二周学习笔记
第四十二周学习笔记论文阅读概述RCNN两个insight:proposal+CNN,ImageNet预训练模型+fine-tuning三个模块:proposal,CNN,SVM四个步骤:提出proposal,CNN提取特征,SVM分类,bounding box回归精炼boxFast RCNN解决RCNN慢、multi-stage、存储消耗多的问题对整张图片求特征图后,通过...原创 2019-05-24 19:32:32 · 158 阅读 · 0 评论 -
第四十一周学习笔记
第四十一周学习笔记论文阅读概述Bottom-Up and Top-Down Attention for Image Captioning and Visual Question Answering结合Bottom-Up和Top-Down的信息,Bottom-up:Faster RCNN,Top-Down:Hierarchical LSTM两个LSTM,第一个用来做attention,第...原创 2019-05-17 17:02:44 · 388 阅读 · 0 评论 -
第四十三周学习笔记
第四十三周学习笔记论文阅读ImageNet Classification with Deep Convolutional Neural Networks,提出了AlexNet,在ImageNet上首度超过传统方法ROUGE: A Package for Automatic Evaluation of Summaries,一个基于recall的nlg度量CIDEr: Consensus-b...原创 2019-05-31 20:32:24 · 226 阅读 · 0 评论 -
第四十七周学习笔记
第四十七周学习笔记image captioning根据image captioning的结果,可以发现image captioning模型其实连图片中目标有几个都无法描述正确co-occurance对image caption的结果有很大的影响对未见场景的理解能力非常差...原创 2019-06-28 16:58:59 · 306 阅读 · 0 评论 -
第四十四周学习笔记
第四十四周学习笔记论文阅读概述Fast, Diverse and Accurate Image Captioning Guided By Part-of-Speech,本文使用part-of-speech模板来生成image caption,规定了句子中每个词的词性,通过使用多个模板生成多样的caption,在速度、多样性和准确性上比基于GAN的模型和beam search的模型都要高Un...原创 2019-06-07 19:45:42 · 286 阅读 · 0 评论 -
第四十周学习笔记
第四十周学习笔记论文阅读Show and Tell: A Neural Image Caption Generator提出了image caption 的 cnn encoder + rnn decoder的基本形式Deep Visual-Semantic Alignments for Generating Image Descriptions目标变为生成caption及其对应...原创 2019-05-10 21:18:04 · 243 阅读 · 4 评论 -
第三十七周学习笔记
第三十七周学习笔记SuperPoint复现进度evaluation测试的时候发现即便在图中看起来MagicPoint的预测结果与ground truth相似,但是实际的准确率和召回率均很低,调整好阈值之后,均在0.6左右,加上nms之后,可以达到0.8左右奇怪的现象,即便test_loss变大了,但是precision和recall竟然也变大计算mAP为了计算出mAP,先要计算出AP值...原创 2019-04-19 17:59:14 · 459 阅读 · 0 评论 -
第三十九周学习笔记
第三十九周学习笔记RCNN论文阅读笔记原文:Rich feature hierarchies for accurate object detection and semantic segmentation时间:2014年文章解决了什么问题目标检测发展停滞,通过复杂的ensemble模型才能勉强提高一些精度用了什么方法两个 insights在bottom-up region pro...原创 2019-05-03 09:27:27 · 180 阅读 · 0 评论 -
第三十八周学习笔记
第三十八周学习笔记Superpoint复现进度本周主要是研究Homograpy究竟是什么,以下是笔记Homography :一个例子样例摘自这里上图中的红点标明了左右图中对应的点,Homography就是将一幅图中的点映射到另一幅图中它的对应点的映射,可以通过一个3乘3矩阵表示[h1h2h3h4h5h6h7h8h9]\left[ \begin{matrix} h_1 &am...原创 2019-04-26 17:50:11 · 228 阅读 · 0 评论 -
第三十六周学习笔记
文章目录第三十六周学习笔记SuperPoint 复现进度找到问题MagicPoint 训练结果训练过程可视化在训练集和测试集上的表现训练集测试集Pytorch Linear regression example论文阅读《Rich feature hierarchies for accurate object detection and semantic segmentation》第三十六周学习笔...原创 2019-04-13 22:27:01 · 539 阅读 · 0 评论 -
第三十五周学习笔记
第三十五周学习笔记复现SuperPointGround Truth 和 Label的转换问题样本不均衡问题原创 2019-04-05 18:25:57 · 502 阅读 · 2 评论 -
第三十四周学习笔记
第三十四周学习笔记CS231nVisualizing and Understanding可视化第一层通过visualize卷积核,可以得到卷积核寻找的pattern,因为图像的局部与卷积核越接近,内积越大,激活图的值就越大可视化第二层第二层的可视化不如第一层那么简单直接,因为,第二层的卷积核维度很大,且不与输入直接关联可视化最后一层最后一层的可视化,将不同图片最后一层的输出向量...原创 2019-03-29 19:12:51 · 475 阅读 · 0 评论 -
第四十五周学习笔记
第四十五周学习笔记论文阅读概述Context and Attribute Grounded Dense Captioning,本文通过将global,neighboring和local的图像特征融合,实现更加准确的dense caption,并引入coarse-to-fine损失函数,来辅助caption model选择更加准确的词Dense Relational Captioning:T...原创 2019-06-14 21:25:45 · 400 阅读 · 0 评论 -
第四十六周学习笔记
第四十六周学习笔记论文阅读笔记原创 2019-06-21 22:10:03 · 344 阅读 · 0 评论 -
第六十周学习笔记
第六十周学习笔记9月23日TODObottom-up模型度量9月23日小结未完成,下午开始试图对齐生成的caption数据,结果发现存在很大的问题9月24日TODO要做的事情有点多,心态小崩,咸鱼了一天=_=9月25日TODO鹏城的api写完9月25日小结api完成,在这里9月26日TODO重新建立baseline 检查数据分布...原创 2019-09-27 22:20:25 · 453 阅读 · 0 评论 -
第五十九周学习笔记
第五十九周学习笔记咦?第五十八周笔记去哪了?9月16日TODOLSTM模型from scratch广义线性模型回顾两篇论文阅读晚上将之前的论文整理到github上原创 2019-09-20 20:17:00 · 619 阅读 · 0 评论 -
第五十七周学习笔记
第五十七周学习笔记实验结果实验结果均记录在表格中原创 2019-09-06 18:38:39 · 191 阅读 · 0 评论 -
第五十六周学习笔记
第五十六周学习笔记文章阅读图卷积网络Q1,图卷积网络中的拉普拉斯矩阵是什么?A:图卷积中的拉普拉斯是图的度矩阵(对角矩阵)减邻接矩阵Q2,什么是拉普拉斯算子?A:拉普拉斯算子是欧几里得空间中的二阶微分算子,定义为梯度的散度Q3,什么是散度?A:借用物理的角度去理解,假设一个区域中有热量传播,热量传播的方向和速度可以构成一个向量(方向为向量的方向,速度为向量的模长),那么这就是一个向量...原创 2019-08-30 20:37:24 · 172 阅读 · 0 评论 -
第五十四周学习笔记
第五十四周学习笔记实验结果权值可视化原创 2019-08-16 21:51:55 · 204 阅读 · 0 评论 -
第五十三周学习笔记
第五十三周学习笔记论文阅读概述Densely Connected Convolutional Networks:This article introduces a novel CNN model DenseNet which distills the idea of short cut connection and extend it to connecting every two laye...原创 2019-08-09 18:53:50 · 285 阅读 · 0 评论 -
第五十一周学习笔记
第五十一周学习笔记论文阅读概述Dynamic Routing Between Capsules:This article introduce a novel neural network architecture capsule net which uses group of neural called ‘capsule’ fed by vector input and output vect...原创 2019-07-26 18:27:23 · 251 阅读 · 0 评论 -
第五十二周学习笔记
第五十二周学习笔记论文阅读概述Boosted Attention: Leveraging Human Attention for Image Captioning: This article incorporates object saliency detection information with conventional image captioning model to boost ...原创 2019-08-02 17:41:16 · 596 阅读 · 0 评论 -
第五十周学习笔记
第五十周学习笔记论文阅读概述SemStyle: Learning to Generate Stylised Image Captions using Unaligned Text: This article introduces a novel model dubbed SemStyle to generate diverse image caption based on paired fa...原创 2019-07-19 20:16:43 · 890 阅读 · 0 评论 -
第四十八周学习笔记
第四十八周下周目标读完17-19年image captioning的CVRP论文整理近年来的SoTA image captioning model整理先前阅读的所有论文整理论文的书写方法记录重要的引用文献...原创 2019-07-05 21:25:48 · 388 阅读 · 0 评论 -
第四十九周学习笔记
第四十九周学习笔记论文阅读概述neural baby talk: This article introduce a novel model dubbed neural baby talk to exploit object detection information in image caption generation. To put object word in caption, it ...原创 2019-07-12 19:11:01 · 324 阅读 · 0 评论 -
第三十三周学习笔记
第三十三周学习笔记CS231nDeep Learning SoftwareCPU vs GPUCPU:Fewer cores,but each core is much faster and much more capable;great at sequential tasksGPU:More cores,but each core is much slower and “dumber”...原创 2019-03-22 18:26:21 · 265 阅读 · 0 评论 -
第三十二周学习笔记
第三十二周学习笔记CS231n翻译自英文笔记损失函数数据损失(data loss)是预测与真实标签的一致性度量,往往的表达式是L=1N∑iLiL=\dfrac{1}{N}\sum_iL_iL=N1i∑Li其中,NNN是训练集数据的数量,记f=f(xi;W)f=f(x_i;W)f=f(xi;W)为输出层的激活函数,以下是一些实际中面对的问题分类,两个最常见的损失函数之一是SVM...原创 2019-03-15 17:59:13 · 993 阅读 · 0 评论 -
第三十一周学习笔记
第三十一周学习笔记Facial Keypoint Detection项目学习自这里实验名:人脸关键点(Facial keypoints,也称为facial landmarks)检测实验目的:训练一个卷积神经网络,以检测图片上人脸的关键点数据集:YouTube Faces Datasetpipline:加载并可视化数据集,共计5770张彩色图片,3462张训练,2308张测试,图片名...原创 2019-03-08 14:59:01 · 380 阅读 · 0 评论 -
第七周学习笔记
第七周学习笔记本周的主要学习工作1.CS229[课程地址]第十九讲,微分动态规划主要内容Debug强化学习算法 假设我们要建立一个直升机的强化学习算法建立一个直升机的模拟器选择回报函数使用强化学习算法,得到策略 假如表现很差,怎么办?诊断:如果学习到的策略在模拟器中效果不错,但在现实中表现不佳,则是模拟器的问题如果人类策略的值函数大于学习结果...原创 2018-09-21 21:34:01 · 213 阅读 · 0 评论 -
第八周学习笔记
第八周学习笔记学习内容CS229复习与思考1.SoftmaxSoftmax是广义线性模型假设y服从多项分布时,导出的线性多分类模型,在推导过程中,需要注意的是假设总类数有kkk类时,第kkk类的概率ϕk\phi_kϕk不是参数,而由之前的k−1k-1k−1个参数决定,所以推导过程在k−1k-1k−1维的yyy和η\etaη下进行,值得注意的是,最后得到的似然函数为l(Θ)=∏i=1ke...原创 2018-09-28 21:09:00 · 116 阅读 · 0 评论 -
第九周学习笔记
第九周学习笔记1.论文阅读Sequential Minimal Optimization: A Fast Algorithm for Training Support Vector Machines作者:John C.Platt时间: 1998年主要内容:1.文章解决了什么问题?SVM训练算法在大规模问题上收敛很慢,且十分复杂、难以实现,运算过程中需要维持一个n2n^2n2个元素的矩...原创 2018-10-05 16:55:38 · 417 阅读 · 0 评论 -
第十周学习笔记
第十周学习笔记1.阅读《模式识别》(第三版)张学工1.第二章 统计决策方法主要内容最小错误率贝叶斯决策最小风险贝叶斯决策两类错误率、Neyman-Pearson决策与ROC曲线正态分布时的统计决策错误率的计算离散概率模型下的统计决策举例(马尔可夫模型,隐马尔科夫模型)值得注意的地方1.为什么最小错误率贝叶斯决策是使后验概率最大的决策?最小错误率贝叶斯决策是为了最小化m...原创 2018-10-12 19:45:57 · 264 阅读 · 0 评论 -
第十一周学习笔记
第十一周学习笔记1.阅读《模式识别》张学工第四章,线性分类器主要内容感知器最小平方误差判别最优分类超平面与线性支持向量机多类线性分类器值得注意的地方1.感知器的损失函数与logistic回归和线性回归等不同,感知器的定义了增广的规范化样本yiy_iyi,α\alphaα作为解向量的充要条件是αTyi>0\alpha^Ty_i>0αTyi&g...原创 2018-10-19 14:56:51 · 396 阅读 · 0 评论 -
第十二周学习笔记
第六章 深度前馈网络主要内容特征选择可以通过特征选择将性模型到扩展为非线性模型,特征选择是一个非线性映射,有多种方式来选择这个非线性映射ϕ\phiϕ核函数专家手动设计学习ϕ\phiϕ(深度学习策略)缺点 放弃了问题的凸性。优点 通过广泛的函数族ϕ(x;θ)\phi(x;\theta)ϕ(x;θ),可以使其获得第一种方法的优点——高度通用,通过限制函数族,可以融入专家的先验知识,...原创 2018-10-26 11:01:31 · 244 阅读 · 0 评论 -
第十三周学习笔记
第十三周学习笔记第九章 卷积网络主要内容1.卷积神经网络中的卷积是互相关函数S(i,j)=(I∗K)(i,j)=∑m∑nI(i+m,j+n)K(m,n)S(i,j)=(I*K)(i,j)=\sum_{m}\sum_{n}I(i+m,j+n)K(m,n)S(i,j)=(I∗K)(i,j)=m∑n∑I(i+m,j+n)K(m,n)而不像一般的卷积S(i,j)=(I∗K)(i,j)=∑...原创 2018-11-02 15:36:16 · 357 阅读 · 0 评论 -
第十四周学习笔记
文章目录第十四周学习笔记《深度学习》第十二章 应用1.大规模深度学习2.计算机视觉3.语音识别4.自然语言处理5.其他应用第十三章 线性因子模型1.概率PCA和因子分析第十四周学习笔记《深度学习》第十二章 应用本章介绍了深度学习在计算机视觉、语音识别、自然语言处理以及其他商业领域中的应用1.大规模深度学习深度学习的基本思想:联结主义——尽管机器学习模型中单个生物性神经元或者说是单个特征...原创 2018-11-09 23:44:08 · 321 阅读 · 0 评论