努力努力再努力的小马

初始化参数指的是在网络模型训练之前，对各个节点的权重和偏置进行初始化赋值的过程。在深度学习中，神经网络的权重初始化方法（weight initialization）对模型的收敛速度和性能有着至关重要的影响。模型的训练，简而言之，就是对权重参数W的不停迭代更新，以期达到更好的性能。而随着网络深度（层数）的增加，训练中极易出现梯度消失或者梯度爆炸等问题。

基于文本的人员检索是基于文本描述来查找查询对象。关键是要学会在视觉-文本模态之间建立一种共同的潜在空间映射。为了实现这一目标，现有的工作利用分割来获得明确的跨模态对齐或利用注意力来探索显著的对齐。这些方法有两个缺点:1)。2)**注意力方法可以探索显著的跨模态对齐，但可能会忽略一些微妙和有价值的对。**为了解决这些问题，作者提出了一个隐式视觉-文本(IVT)框架，用于基于文本的人员检索。与以往的模型不同，IVT利用单一网络来学习两种模态的表示，这有助于视觉-文本的交互。。

语言模型和视觉语义匹配模型之间的结合是一个强大的结合，有可能提供零样本字幕，将现实世界文本中的可变性结合在一起，不受类别限制的识别能力，以及通过网络规模的数据集嵌入模型的现实世界知识。作者提出了一个零样本的方法来结合两个模型，它不涉及对模型的权重进行优化。相反，作者为所有层和注意头修改由语言模型生成的标记的键值对，直到每个推断步骤。

为了更好的描述欠拟合和过拟合，先借用一下吴恩达课程中的一张图来描述一下。对于一个简单的数据集（x，y），x代表特征，y代表结果。我们可以看到这个函数不能很好的拟合所有的点，也称这个模型欠拟合。

我相信以上三点经验，不仅适用于博士阶段。而且还会延伸到我未来的职业生涯之中，受用终生。

本系列文章适合Python已经入门、有一定的编程基础的学生或人士，以及人工智能、算法、机器学习求职的学生或人士。系列文章包含了深度学习、机器学习、计算机视觉、特征工程等。相信能够帮助初学者快速入门深度学习，帮助求职者全面了解算法知识点。L0−1(f,y)=1fy≤0L_{0-1}(f, y)=1_{f y \leq 0}L0−1​(f,y)=1fy≤0​0-1损失函数可以直观的刻画分类的错误率，但是因为其非凸，非光滑的特点，使得算法很难对其进行直接优化Lhinge (f,y)=max⁡{0,1−fy}

为了保证框架的可扩展性，MDL对 layer 层进行了抽象，方便框架使用者根据模型的需要，自定义实现特定类型的层，使用 MDL 通过添加不同类型的层实现对更多网络模型的支持，而不需要改动其他位置的代码。一般来说，参数修剪和共享，低秩分解和知识蒸馏方法可以用于全连接层和卷积层的CNN，但另一方面，使用转移/紧凑型卷积核的方法仅支持卷积层。对机器学习模型的训练是一项很重的工作，Core ML 所扮演的角色更多的是将已经训练好的模型转换为 iOS 可以理解的形式，并且将新的数据“喂给”模型，获取输出。

就是只能发EI，水会，OA SCI期刊那种，自己看到都觉得很垃圾的idea，有发表的价值吗？

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WAeuKdhq-1664529849758)(https://pic4.zhimg.com/80/v2-f5155c5dbc0df78c3eeba32b3d4cfe17_1440w.jpg)]该优化目标可以通过随机采样实现。

本届比赛共吸引55000余人报名，其中00后占比超4成，而在获奖的77人中，00后更是拿走了一半的奖项。“00后”作为新时代科研新势力，正在慢慢崛起；在数学领域，他们正逐步搭建起属于他们这个时代的“黄金一代”。对于这个现象，你有什么看法？作者：Dylaaan印象中，在今年早些时候，在学校的数学楼一楼看到了的海报。可惜的是那段时间正在焦虑地准备升学，连初赛都没有参加（当然，如果是我自己参加的话，也是竞争不过现在获奖的大佬们的）。

在本文中，作者提出了细粒度的检索提示调整 (FRPT)，旨在解决由整个FGOR模型的优化引起的次优解的收敛。FRPT设计结构扰动提示 (SPP) 和类别特定感知头 (CAH)，以引导冻结的预训练视觉模型执行非特别的检索任务。从技术上讲，SPP缩放并夸大了一些有助于类别预测的像素，这有助于这种结构扰动促使冻结的预训练模型专注于歧视性细节。CAH通过使用实例归一化消除物种差异来优化由预训练模型提取的语义特征，这使得优化后的特征对同一元类别内的粒度对象敏感。

本文介绍了一种工作在特征空间的多模态数据增强技术。通过这种方式，可以利用几个优势，包括处理从基于CNN的主干的更深层提取的高级概念的可能性，以及更容易的适用性，因为原始视频不需要共享，避免版权和隐私问题。为了验证本文的解决方案，作者在大规模公共数据集EPIC-Kitchens-100上进行了多次实验，并在YouCook2上进行了比较。作者在三种不同的方法上测试了本文的技术，包括最近在EPIC-Kitchens-100上使用的最先进的方法，并取得了进一步的改进。

因为是在美国申请的，所以对此不是很了解。在国内MSRA的实习难进吗？听朋友说在那的基本都是研究生，本科的也都是清华姚班大牛。我也是本科生，感觉自己实力远不及那些大神，这样的话实习会不会很痛苦。。任何和MSRA实习相关的回答都欢迎，多谢！

本文提出了一种新的配对跨模态数据增强框架，该框架可以生成无限量的配对数据来训练跨模式检索模型。具体来说，作者使用随机文本替换策略来生成增强文本。为了从增强文本中生成相应的增强图像，首先采用StyleGAN2模型生成高质量和多样性的图像。然后，提出通过本文的潜在空间对齐模块来弥合文本和图像数据之间的差距，该模块将文本特征映射到StyleGAN2的潜在空间W。作者使用StyleGAN2的学习对齐模块的输出来生成增强图像，从而获得增强文本-图像对。

来源：https://www.zhihu.com/question/438143434博士远比硕士难，硕士到时间就得走，不走学校赶你走。博士就不一样了，没有固定的毕业时间概念，影响因素也多。学校的要求、老师的要求、自己的能力，都能成为延迟毕业的理由。当然，博士的毕业要求也远高于硕士，绝大部分人都不可能轻易的达到。发不出论文是一个博士最难的时候，焦虑、崩溃、失眠、抑郁，都有可能。治疗博士抑郁的良药，不是药品，而是论文。有了论文，每天都是元气满满，走在路上都感觉一拳可以把街边的墙击穿。

本文提出了一种高效的视觉-文本跨模态检索体系结构。具体来说，作者提出了使用最先进的VL Transformer作为主干，通过独立forward视觉和文本管道来了解对齐分数。然后，使用对齐头产生的分数来学习视觉-文本公共空间，该公共空间可以容易地产生可索引的定长特征。具体地说，使用学习排序蒸馏目标来解决这个问题，该目标实验性地证明了它比hinge-based triplet ranking loss优化公共空间的有效性。在MS-COCO上进行的实验证实了该方法的有效性。

初入学术圈的小伙伴在写论文时一定有过一个烦恼：看大佬们的论文写的行云流水、文笔华丽，顿时激情澎湃，到了自己下笔却总是词不达意、句式散乱，翻来覆去就是那么几个重复的词，仿佛飞哥（我是小飞哥，不要搞混）附身.其实我在去年刚开始读博时也有这个困扰，写文章曾经自闭到抓耳挠腮、撸秃秀发。后来我发现，，效果非常好：读博前我一二作最好也就是投个workshop, ICPR这种水会，后来用了这种方式后写论文忽然得心应手，一路连中ITSC、IOTJ、ICRA、ECCV这些质量较高的会议和期刊。

当然这只是个人品味，可能只适合于最相关的小同行审稿人，因为他们清楚在这个重量级中内卷的激烈程度，而若是大同行审稿人可能就比较吃撑面板这一套(俗称SOTA大PK，同test设置，跨重量级，使用小trick的表格)。马能载人，你的新马应与众多优秀的马PK载人的能力，而你拓展到拉货领域，却与人比较拉货的能力，证明你的新马比人更能拉货。这么说吧，你可以看成4分就是期刊的小修，而3分就是大修。，不管你方法是易是难，只要你的切入点是以往没见过的，并且切实有效，能(险)胜于几个最相关方法，有助于社区应用就novel。

半监督学习通过利用大量无标签数据来训练更精确、更鲁棒的模型，在未来有着重要的研究和应用价值。研究员们期待通过USB这一工作，能够予力学术界和工业界在半监督学习领域取得更大的进展。

来源：https://mp.weixin.qq.com/s/-2A-StkVWy4djK43CUZEQg近期，一款名叫羊了个羊的小游戏刷爆热搜和朋友圈。不少朋友不服输地重复挑战，连清华博士都在狂玩一百关之后说，人还是要认清现实，放自己一马吧。清醒过来的网友开始分析游戏背后的套路：开发者有意控制了通关人数，让其保持在极低的概率。所以只有少数玩家有机会成功，而他们就作为游戏中的领头羊，放在那告诉后来者，游戏是可以通关的。于是越来越多人入局，“羊群效应”的陷阱就制造出来了。

硕士期间发表一作论文10篇以上（导师一学生二也可），核心期刊也算，博士期间发表一作sci10篇以上（导师一学生二也可），4区的sci也算。

本文的重点是学习用于跨模态、图像标题检索的视觉语义嵌入。受结构化预测的启发，作者提出了一种新的损失，该损失基于与使用预期错误的当前方法相比相对较难的负样本所导致的violation。作者在 MS-COCO 和 Flickr30K 数据集上进行了实验，并表明提出的损失显着提高了这些数据集的性能。

在本文中，作者分析了以前成功的分割模型，并找到了它们所拥有的良好特征。基于这些发现，作者提出了一个定制的卷积注意力模块 MSCA 和一个 CNN 风格的网络 SegNeXt。实验结果表明，SegNeXt 在相当大的程度上超越了当前最先进的基于Transformer的方法。最近，基于Transformer的模型已经主导了各种细分排行榜。相反，本文表明，在使用适当的设计时，基于 CNN 的方法仍然可以比基于Transformer的方法表现更好。

回顾这篇文章的创作历程，从起点来看，基本功一定是前提。而另一个重要的前提是自己心中一直念念不忘调参这个痛点问题，正是久旱，所以读到合适的文章才能逢甘露；至于过程，核心在于将观察数学化理论化的习惯，反倒在这个工作中代码实现能力不是最重要的，我会再写一篇专栏着重讲讲另一个硬核代码工作；最后的收敛性分析，也是靠合作者和自己的不将就，所幸好饭不怕晚，继续前进！P.S. 我的paper没有公布代码 因为别人的codebase写了几万行 我就改一行实在没有发布的必要 比如Facebook的DP代码库Opacus(

最简单的方式就是单一的处理每一个视角的信息，最后再进行后处理融合，但是这样就会使得这几个相机彼此没有参与其中，信息没有办法有效的交互，而且整体显得很笨拙也不美观。受特斯拉的启发，我们发现了可以使用来建模多视角摄像头的输入到BEV的输出这么一种映射关系。又因为我们的多视角摄像头是没有办法采集到深度信息的，所以BEV方法和LiDAR方法的GAP就在这里了，所以我们应该怎么去解决这个问题？1、利用深度估计将信息处理成伪点云2、根据预测的heatmap回归位置信息。

在本文中，作者提出了一种图注意关系网络来学习对齐的图像-文本表示，以进行身份感知的图像-文本匹配。本文的主要贡献是通过建模名词短语之间的关系来改进文本表示和学习图像和文本之间的语义对齐。这些分别通过跳过图神经网络和图注意网络来完成。在匹配过程中，全局匹配和局部匹配都被用来学习更多的判别表示。作者在对四个身份感知数据集进行了广泛的实验，实验结果表明，本文的方法比最先进的方法取得了更好的性能，这验证了本文的 GARN 在身份感知图像文本匹配中的有效性。

本文介绍了预训练语言模型的发展历程，包括EMLo、BERT、GPT等经典模型，也包括在此基础上的一些改进创新。预训练语言模型对于NLP来说非常重要，未来的研究趋势也在让下游任务更加去适配预训练模型，以此来最大程度发挥预训练模型的能力。

当年头一次实习做算法的时候，主管给的第一个任务就是“把一个大的分割模型砍成一个小的”。当时并不理解模型“大”、“小”的真正含义，就简单的选取计算量作为评价指标，疯狂砍计算量（backbone 换 MobileNet/ShuffleNet、Conv 换成 DepthWise Conv、以及一些奇奇怪怪的融合结构等等），把模型计算量砍了将近 10 倍，结果一部署发现速度并没有快多少，反而是把最初的 ResNet 简单砍掉几个 block 效果更好。

是不是很心动？那就来看看到底怎么才能利用好保研之后的这段宝贵时光！

深度学习算法的发展和深度学习框架的发展是相辅相成，互相促进的。从2002年时Torch论文发表后，框架的技术发展相对缓慢，性能无法显著提升导致无法探索更加复杂的算法模型，或者利用更加大规模的数据集。在2010年后逐渐出现了Caffe, Theano等框架，通过将更高性能的GPU引入，可以训练更加复杂的CNN和RNN模型，深度学习算法的发展出现来显著的加速。到了2014~2017年几年间，TensorFlow的出现让用户可以通过简单的Python语言将细粒度的算子组装各种模型结构。

来源：https://zhuanlan.zhihu.com/p/396666255从参数定义，到网络模型定义，再到训练步骤，验证步骤，测试步骤，总结了一套较为直观的模板。目录如下：导入包以及设置随机种子以类的方式定义超参数定义自己的模型定义早停类(此步骤可以省略)定义自己的数据集Dataset,DataLoader实例化模型，设置loss，优化器等开始训练以及调整lr绘图预测一、导入包以及设置随机种子二、以类的方式定义超参数四、定义早停类(此步骤可以省略)五、定义自己的数据集Dat

比如公司领导想知道每周的销售情况，这种就是简单问题。简单问题可以用数据分析来处理，通过分析数据来分析出有用的信息。最简单的，你用excel分析一家淘宝店铺的销售数据，每周公司会让你出一份周报一份发现了最近几个月销量下降，然后根据分析产生销量下降的原因是什么，找到原因后制定对应的策略来提高销量。我们来看一个真实的案例。全球最大的旅行房屋租赁社区Airbnb曾在2011年纠结于新用户增长的缓慢，有一天，他们的数据分析团队发现房源照片的精美程度，跟房源的预定人数成很大的正相关。

工作原因一直想配置一台自己的深度学习工作站服务器，之前自己看完paper想做一些实验或者复现模型的时候只能用自己的日常PC来跑很麻烦…一方面电脑得装双系统，干活的时候就不能用作其他用途了；另一方面，即使是没有使用流程的问题，GTX1080的性能也还是弱了一些，更何况我用的是一个A4迷你机箱，长时间高负载的训练任务也不太可靠。

作者提出了 FashionViL，这是一种新颖的端到端大规模预训练框架，用于时尚领域的 V+L 表示学习。作者还提出了两个有效的特定于时尚的预训练任务，并引入了一种新颖的与模态无关的文本/融合编码器，用于灵活且通用的多模态架构。本文的 FashionViL 在 5 个流行的时尚相关任务上以卓越的效率实现了新的 SOTA 性能。

最近也在十字路口犹豫。看着网上的问答里对博士生活和未来发展的描述 感到了一些焦虑。

对于文本视频检索，作者提出了 LAFF，一个非常简单的特征融合块。LAFF 比 Multi-head Self-Attention 更有效，但参数要少得多。此外，LAFF 产生的注意力权重可用于解释单个视频/文本特征对跨模态匹配的贡献。因此，权重可用于特征选择，以构建更紧凑的视频检索模型。基于 LAFF 的视频检索模型超越了 MSR-VTT、MSVD、TGIF、VATEX 和 TRECVID A VS 2016-2020 上的最新技术。

在这个工作中，我们探索了一种走向完整的、无限细粒度的视觉识别的方法，即按需视觉识别方法。它的核心思想在于，不追求一次性地识别图像中的所有物体，而是在基本语义分割的基础上，（按照需求）交互式地处理request，并且不断细化识别结果。这样做的最大好处，是增加了标注和识别的一致性和可扩展性，从而揭示了完整的、无限细粒度的视觉识别的可能性。在此，我也希望澄清几个可能的误解。按需视觉识别只是图文跨模态识别任务的一个变种。

作者提出了一种新的视频动作识别pipeline形式：在固定的可迁移图像特征之上学习一个有效的迁移学习头。通过冻结图像主干，训练时间大大减少。此外，通过利用来自主干的多层高分辨率中间特征图，可以在很大程度上补偿由于冻结主干造成的精度损失。因此，本文的方法有效地利用了强大的图像特征进行视频识别，同时避免了对非常大的图像模型进行繁重或令人望而却步的全面微调。作者进一步表明，在开放世界环境中学习的可转移图像特征包含与标记数据集高度互补的知识，这可能会激发更有效的方法来构建最先进的视频模型。

作者提出了一种新的视频动作识别pipeline形式：在固定的可迁移图像特征之上学习一个有效的迁移学习头。通过冻结图像主干，训练时间大大减少。此外，通过利用来自主干的多层高分辨率中间特征图，可以在很大程度上补偿由于冻结主干造成的精度损失。因此，本文的方法有效地利用了强大的图像特征进行视频识别，同时避免了对非常大的图像模型进行繁重或令人望而却步的全面微调。作者进一步表明，在开放世界环境中学习的可转移图像特征包含与标记数据集高度互补的知识，这可能会激发更有效的方法来构建最先进的视频模型。

不仅仅在resnet中，在各种网络结构中大家都喜欢使用残差连接的设计，并声称这有利于网络的优化，这是为什么呢？能给出一个有说服力的答案吗？