- 博客(11)
- 收藏
- 关注
RSS订阅原创 AIGC学习
1.1 智能数字内容孪生：图像超分、语音转字幕、文字转语音等。1.2视频场景剪辑、虚拟试衣、人声分离等。1.3图像生成（AI绘画）、文本生成（AI写作、ChatBot）、视频生成、多模态生成等。
2023-09-25 11:45:19
152
1
原创 单跳/多跳问题的ODQA框架
模型：BERT作为encoder，加一个分类头，判断这个token是不是属于某个entity。两部分组成：evidence中的实体提取 + 实体链接到wiki（都基于bert)模型：passage\table 分别进入两个encoder，对比学习连接两者。chainer: 将相关的table跟上下文组成一个evidence并排序。inference：在所有wiki的所有passage里面搜最像的。训练：把连接的wiki的第一段作为正样本。特殊性：操作对象为表格而不是文本。不采用传统NER模型：对象为表格。
2023-09-18 16:53:15
194
原创 cs knowledge ---- 面试准备（虽然我真的很不想写）
是并发执行的程序在执行过程中分配和管理资源的基本单位，是一个动态概念，竞争计算机系统资源的基本单位。是进程的一个执行单元，是进程内科调度实体。比进程更小的独立运行的基本单位。线程也被称为轻量级进程。
2023-08-28 09:28:19
91
原创 大语言模型 --- 简历强相关
在涉及到矩阵相乘的模块，在原始的PLM旁边增加一个新的通路，通过前后两个矩阵A,B相乘，第一个矩阵A负责降维，第二个矩阵B负责升维，中间层维度为r，从而来模拟所谓的本征秩（intrinsic rank）与layerNorm相比，RMS Norm的主要区别在于去掉了减去均值的部分，作者认为这种模式在简化了Layer Norm的同时，可以在各个模型上减少约 7%∼64% 的计算时间。对于给定的计算预算，最佳性能不是由最大的模型实现的，而是由在更多数据上训练的较小模型实现的。1. 有一个预训练模型。
2023-08-23 16:39:45
609
1
原创 深度学习 --- nlp\cv
4. BN：batchnorm通过对每一层的输出规范为均值和方差一致的方法，消除了x带来的放大缩小的影响，进而解决梯度消失和爆炸的问题。反向传播的过程中，对激活函数求导，若导数>1（
2023-08-22 22:10:57
333
1
原创 机器学习总结
缺：当样本不平衡时，会受大多数样本的影响（可以采用权值的方法(和该样本距离小的邻居权值大)来改进）。b. 然后将数据集中的每个点分配到一个簇中, 具体来讲, 就是为每个点找到距其最近的质心, 并将其分配该质心所对应的簇。(Sum of Squared Error, 误差平方和 ）SSE 值越小，表示越接近它们的质心. 聚类效果越好。重复上述过程直到数据集中的所有点都距离它所对应的质心最近时结束。a. 样本的所有特征都要做可比较的量化。c. 每个簇的质心更新为该簇所有点的平均值.
2023-08-18 10:46:18
85
1
原创 cv/nlp/多模态 面试准备 ---- BLIP2
作者使用多模态 causal self-attention mask 来控制 query-text 的交互，类似于 UniLM，query 可以和其他 query 以及出现在它前面的 text token 进行交换，同时也是要 [DEC] token 替换了 [CLS] token 作为第一个 text toden 来标记 decoding 任务。实现方式：使用对比学习，学习 image-text 的相似度，positive pairs 的相似性大于 negative pairs 的相似性。
2023-08-14 10:54:00
933
原创 cv/nlp/多模态 面试准备 ---- LoRA/QLoRA
在涉及到矩阵相乘的模块，在原始的PLM旁边增加一个新的通路，通过前后两个矩阵A,B相乘，第一个矩阵A负责降维，第二个矩阵B负责升维，中间层维度为r，从而来模拟所谓的本征秩（intrinsic rank）2. QLoRA: 将预训练模型量化为 4 bit，然后添加一小组可学习的低秩适配器权重，这些权重通过量化权重的反向传播梯度进行微调。1. LoRA ：该方法的核心思想就是通过低秩分解来模拟参数的改变量，从而以极小的参数量来实现大模型的间接训练。
2023-08-13 22:02:11
544
原创 cv/nlp/多模态 面试准备 ---- VideoCLIP
前者在时空分辨率极高的的前几层使用2D卷积，而在时空分辨率较低的后几层对semantic feature进行3D卷积，故更轻量性能更好。视频我们用的是S3D后为了轻量化改为X3D（附1），文字用的是BERT，后为了轻量化改为MobileBert（附2）。首先经过一次线性变换，然后Softmax得到输出的概率分布，然后通过词典，输出概率最大的对应的单词作为我们的预测输出。这两层网络就是为了将输入的Z映射到更加高维的空间中然后通过非线性函数ReLU进行筛选，筛选完后再变回原来的维度.
2023-08-13 21:49:11
1072
原创 cv/nlp/多模态 面试准备 ---- 必背公式及python调用
用于训练差异性较小的样本，如人脸识别等。通过优化锚示例与正示例的距离小于锚示例与负示例的距离，实现样本的相似性计算。: 公式中 x 表示样本, y 表示实际的标签, a 表示预测的输出, n 表示样本总数量。3. focal loss：解决正负样本极不平衡的问题，聚焦于。的方差，作用为归一化矩阵元素使得。
2023-08-08 18:15:18
288
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人