- 博客(118)
- 收藏
- 关注
原创 BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Mode
计算image transformer输出query表征Z(与可学习query长度相同)与text transformer输出文本表征 t 中【CLS】token相似性,选取最大值作为图像文本对相似度。为防止信息泄露,作者使用单模态self-attention mask,query与text不能互相可见,防止从文本直接学习。
2024-06-08 12:04:10
857
原创 CLIP--Learning Transferable Visual Models From Natural Language Supervision
参考:
2024-06-01 22:58:47
570
原创 图像分割模型LViT-- (Language meets Vision Transformer)
使得无标签数据可以像有标签数据一样为模型提供监督信息。这种方式能够有效利用大量的无标签数据,提高模型的泛化能力和鲁棒性。左面的红方框是Transformer支路,右面的红方框是CNN支路。双u型结构:u型CNN支路+u型Transformer支路。
2024-05-28 23:12:53
673
1
原创 医学图像分割--U-net变种
这里以3*256*256的图片为例,手动推算了一遍,有问题的小伙伴可以对照着代码自己手推一遍。这是我自己手推的示意图,没明白的朋友建议先补一下注意力机制的Q、K、V,然后来看看图鸭~也是类似的,朋友们一定要自己推导一遍U-net,这个后面的内容看起来就会很轻松。类(水个字哈哈哈)---两个卷积层、批量归一化和ReLU激活函数。由两个连续卷积层(可选批量归一化)和ReLU激活函数组成的模块。网络结构,包括编码(下采样)和解码(上采样)部分。普通的卷积模块(两个卷积层和批归一化层)类---上采样卷积块。
2024-05-27 15:52:50
993
1
原创 吉林大学软件工程易错题
15.UML四种基本关系:关联关系(实线,聚合是白色菱形,组合是黑色菱形)、依赖关系(A------->B,说明A依赖B)、泛化关系(实线,白色三角,三角指向的是父类)、实现关系(虚线,三角,A----层次图中的一个矩形框代表一个模块,方框间的连线表示调用关系,层次图很适于在自顶向下设计软件的过程中使用。精化阶段--生命周期架构;极限编程是采取必要的手段,充分挖掘软件开发团队人员的极限能力,在最短的时间内交付软件的开发方法。10.【单选题】( )着重反映的是模块间的隶属关系,即模块间的调用关系和层次关系。
2024-05-24 21:09:21
498
原创 保研机试之【动态规划】
动态规划问题的一般形式就是求最值求解动态规划的核心问题是穷举。动态规划三要素为:最优子结构、重叠子问题、状态转移方程。首先要判断,该问题是否具有重复子问题,如果有则可以用动态规划求解。动态规划问题存在「重叠子问题」,如果暴力穷举的话效率会很低,所以需要你使用「备忘录」或者「DP table」来优化穷举过程;动态规划只有列出正确的「状态转移方程」,才能正确地穷举。
2024-05-14 13:35:19
500
原创 基本管道+扩散模型流水线
话说,这个DDPMScheduler和UnetDModel是干什么的,明天继续~效果如下(有一点点诡异,再配一张好看的图QAQ,毕竟是鼻祖ddpm嘛~)
2024-05-09 22:29:33
329
原创 五道链表习题,只过思路
简单来说,就是使用一个优先队列(小顶堆)保存所有已生成的丑数,每次取出最小的丑数,然后生成 3 个新的丑数添加到优先队列中重复上述操作。为了再次巩固priority_queue的用法,我将给出写法。这个正常来说写个结构体,然后sort一下,自己写个cmp函数就好了;或者用小根堆也可以。怎么用呢,还是合并K个升序链表的思想。未排序,有一点难办,只能先遍历一遍链表,可以用unordered_map记录重复元素,再次遍历链表删除重复元素。这跟链表有什么关系呢,像不像合并K个升序链表那道题!
2024-05-06 12:10:50
599
原创 算法~本质
数据结构分为数组和链表,数据结构的目的是提升增删改查的效率。算法的本质是基于这两种数据结构进行高效穷举。2.如何聪明地穷举?--并查集/贪心/KMP)数组--二分搜索/双指针/滑动窗口/前缀+差分。二叉树系列(回溯算法+动态规划)eg.求二叉树最大深度。2. 分解问题计算答案。2.分解问题计算答案。eg.二叉树前缀遍历。
2024-04-30 20:06:58
844
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人