YasmineC的博客

以InstDisc和CPC两篇文章作为引入，重点学习和运用NCE loss和InfoNCE loss

又开一个新坑，来记录一些学习过程中遇到的不那么重要的概念，目标是建立对这些概念的浅薄intuition

字典式文章，只是为了方便查找

8.2收获

阅读目标寻找原型与偏差之间的关系了解原型学习的方法然后pick one阅后回答摘要动机：消除数据冗余、发现数据结构、提高数据质量方法：通过寻找一个原型集来表示目标集,以从样本空间进行数据约简分类：按照监督方式）：分为无监督、半监督和全监督；按照模型设计，分为基于相似度、行列式点过程、数据重构和低秩逼近概念和意义概念：设有源集XXX和目标集YYY，目标是从XXX中找到一个原型集Ω\OmegaΩ，使得Ω\OmegaΩ能够最大程度地保持目标集YYY所蕴含的信息，如下图：直接看概念

引言研究深度学习也有两年了，之前看transformer的论文，感觉完全看不懂，因此对transformer的理解都来自于网上的资源，印象比较深的是李宏毅-Transformer和Transformer 详解这两个资源，前者构建了我对自注意力的初始直觉，后者构建了我对整个模型架构的初步理解。然而，这些资源，学完之后总会有种隔靴搔痒的感觉，理解总是有些朦胧。这段时间佛系科研，又遇到了这些模型，准备重新从原文出发，构建出对transformer较为深入的直觉Transformer来自文章：2017-NIP

文章目录归纳偏差选择性偏差两者区别适用情况常见的归纳偏差1. 正则项2. Batch Normalization和Layer Normalization3. 常见深度学习网络中的归纳偏差牢骚归纳偏差归纳偏差(Inductive biases)可以理解为一种先验或约束，他能够帮助我们在多个可能的模型中选择出一个。比如奥卡姆剃刀原则，他指示我们，在多个模型都符合条件时，我们选择最简单的那个正则项(regularization term)可以看作是在奥卡姆剃刀原则下指导的一个表现，我们想要选择最简单的那个模

碎碎念参加jittor比赛，热身赛中使用的GAN模型，想起自己还没真正使用过GAN，希望通过这个机会学习下引入想要真正地理解世界，就应该能够生成世界的种种组成。因此出现了生成模型；生成模型是说，我们随机地生成一些图片（以图片任务为例），使得这些图片能够尽可能地描绘真实世界；然而这个标准很难量化去衡量（怎么样才算真实？），因此提出生成对抗网络GAN，同时设计生成器和判别器两个部分，生成器的任务是努力生成能够以假乱真的图片，而判别器的任务是尽可能区分生成的图片和真实图片；这样评判标准就清晰了，即是真

两个小直觉的整理

文章目录引言AlexNetVGG-NetResNetInception models家族ResNeXt引言读经典论文，更能获得一些通用的idea启发，同时也是补充基础知识的过程。本文stepwise更新，且读且更新~AlexNet文章：2012-NIPS-Imagenet classification with deep convolutional neural networks使用了分组卷积：最初是因为显存不够使用的，后来被发现是一种很好的降低参数量的方式具体机制可以参考分组卷积：Grou

引言卷积，高数上的惊鸿一瞥，深度学习中熟悉的陌生人，这次终于决定来好好了解你，希望今后咱们的感情可以一直牢固…本质卷积描述了三个函数之间的关系，这里设为f,g,wf, g, wf,g,w，表示的是函数ggg作用于函数fff时产生的结果www，对于www函数中的每一个变量xxx，其值不仅与在xxx上ggg对fff的作用有关，还与xxx的前后时刻相关，因此要汇总这样一个影响，就可以利用加权求和（离散变量）/积分（连续变量）的手段，我们称这种情况下的加权求和/积分为卷积，表达式为：w(x)=∑τ=−∞∞f

文章目录阅读目标问题回答摘要引入方法网络输入视觉编码器EvE_vEv​和文本编码器ElE_lEl​文本龙骨KlK_lKl​视觉龙骨KvK_vKv​源原型网络PsP^sPs目标原型网络PtP^tPt子网络及输入输出最大化互信息阅读目标了解在跨模态检索中如何构建原型了解本文是如何应对non-iid问题的问题回答原型在本文中是一个线性映射层的参数，此映射层的输出代表原型表示给每个样本分配的概率，原型对照的基准是作者通过聚类自主构建的龙骨（聚类中心），而样本对照的基准则是龙骨对每个样本分配的概率最

一、信息熵1. 定义衡量一个随机变量XXX的信息量，用HHH表示根据这个定义，这应该是个不确定的值（随机变量是变化的），而数学上使用期望来将这种不确定性量化：H=∑x∈XP(x)∗xH = \sum_{x \in X}P(x)*xH=∑x∈X​P(x)∗x的信息量其中xxx为随机变量XXX的不同取值那么问题就变成了如何在具体的情形（即一个事件）下，估算随机变量的信息量2. 语义理解先从语义上理解信息量应该满足的条件，当一件事的不确定性越大（概率越小），那么它所包含的信息量就应该越大，相反，不

不是做细粒度方向的，这里只是简单补充一点直觉知识，不深究Mixup+CutMix两种经典的图像增广方式（下图说明一切）看图的直观感觉：Mixup的问题根本就是凑出一个四不像，语义上没有什么含义，这样凑出的样本真的有意义吗？CutMix，加了狗图像的那一小块，根本就无关痛痒，并没有给整个图像的识别增加太大难度SnapMix针对细粒度图像分类的一种图像增广方法，主要动机是细粒度图像分类比较关注细节，而上面两种方式可能正好就会覆盖掉关键细节，从而生成无效的训练图片...

模型背景：transformer用到视觉问题上的难处：transfomer的计算复杂度，O(n2)O(n^2)O(n2)，而像素点的序列长度太长->用特征图当作输入/控制窗口的大小来控制输入序列的长度/2d矩阵的自注意力换成两个1d的自注意力（具体如何实现，参考Stand-alone axial-attention for panoptic segmentation）但这些都是先用cnn 有不用cnn的方法吗？-----------------------论文部分-------------

文章目录sigmoid函数图像演变sigmoid函数导数推导sigmoid函数图像演变（便于记忆）g(s)=esg(s) = e^sg(s)=esg(s)=e−sg(s) = e^{-s}g(s)=e−sg(s)=1+e−sg(s) = 1+ e^{-s}g(s)=1+e−sg(s)=11+e−sg(s) = \frac{1}{1+ e^{-s}}g(s)=1+e−s1​sigmoid函数导数推导f(x)=11+e−x=ex1+ex=1−(ex+1)−1f(x) = \frac{1}

b站视频线性代数的本质-系列合集

这篇相当于看了知乎答主回答后的默写：先默写下交叉熵损失的公式：logP(y∣x)=−ylogy^−(1−y)log(1−y^)logP(y|x)=-ylog{\hat{y}}-(1-y)log(1-\hat{y})logP(y∣x)=−ylogy^​−(1−y)log(1−y^​)其中yyy是真实值，y^\hat{y}y^​是预测值如何推导首先从sigmoid函数说起：g(s)=11+e−sg(s)=\frac{1}{1+e^{-s}}g(s)=1+e−s1​这个函数通常被用于神经网络的最后

b站视频【线性代数的本质-系列合集】笔记

集成学习复习局（这一节概念不少，大体略过，主要是给导师做ppt，简单看看）集成学习分类个体学习器之间存在强依赖关系，必须串行生成的序列化方法：Boosting个体学习器之间不存在强依赖关系，可同时生成的并行化方法：Bagging 随机森林集成学习例子Bagging思想目的：通过训练集的不同来保证好而不同的“不同”。思路：从训练集从进行子抽样组成每个基模型所需要的子训练集，对所有基模型预测的结果进行综合产生最终的预测结果。取样方法...

up收藏夹 AI学习推荐视频（可以看看论文精读，李牧老师）公式推导：感性认识+参数+详细理论推导（西瓜书+南瓜书 https://github.com/datawhalechina/pumpkin-book 《机器学习实战》）《深度学习入门》把我们调的包都写出来了绪论（没什么公式）机器学习解决的问题，拟合函数（我认为）奥卡姆剃刀原则（选最简单的算法？解？）发展历程线性模型基本形式（简单）线性回归d个属性 m个样本 目标是学习规则 学习的方式就是通过均方差，求预测值和实际值的均方差的和的最

直接跳到支持向量机的动机是，遇到了核函数，加上这一节的很多难点在多类课中学了又学，却总是学不明白，所以准备系统的了解支持向量机的大概，并重点学习我的目标知识：核函数的意义、作用，哪些场景会应用到核函数核密度估计、高斯核函数与核函数的关系对支持向量的理解maximal margin classifier（寻找类别边界点，在边界点中间确定一点，作为阈值，使得边界点到阈值之间的距离，称为margin，最大，则应该选择两个边界点的中间值），这种方法简单，但对异常值过于敏感（下图），所以出现了新的解决方法