学习总结
文章平均质量分 81
两面包+芝士
主研多模态方向,包括对齐,融合,情感分析,命名实体识别,关系抽取,目标检测,图像描述等
展开
-
深度学习之GPU显存与利用率 浅析小结
首先就一笔带过说一下GPU的重要性吧,以Pytorch为例,就是使用CUDA,cuDNN对深度学习的模型推理时执行的各种计算转换为矩阵乘法进行加速,来达到从猴年马月的运行,到现在几十成百倍的提速。至于我们爱之深恨之切的显存呢,以数据读取时GPU运行内存的变化作为参考,具体实现机制一般是通过worker进程+队列的方式,让多个worker异步地读取、预处理数据入列,然后主管训练主进程从队列的另一头取数据。如果队列满了、训练进程来不及取数据,worker进程就会阻塞住,运行内存也就不会无限制地增长了。显而原创 2022-11-02 17:50:47 · 4891 阅读 · 0 评论 -
做科研想 idea 发现早就有人做过了,该怎么调整心态?(附创新点提出,创新点较小,论文写作的方案)
边看文献,边在想idea,想到一个觉得很不错的想法开始做,个人有每天抽一部分时间看文献的习惯,然后做到一半突然看到文献几年前就实现了我的想法,瞬间心态崩溃,好几天都没精打采的。发生好几次这种情况,积极性也在一步步减退,该怎么调整呢。转载 2022-09-18 11:37:42 · 1831 阅读 · 0 评论 -
seed+transformer+finetune+图文融合+VLP+Prompt Learning整合
1.Seed在神经网络中,参数默认是进行随机初始化的。不同的初始化参数往往会导致不同的结果,如果不设置的话每次训练时的初始化都是随机的,导致结果不确定。当得到比较好的结果时我们通常希望这个结果是可以复现的,如果设置初始化,则每次初始化都是固定的,在pytorch中,通过设置随机数种子也可以达到这么目的。#固定随机种子 args.seed=SEED(SEED之前已经设置初值,如31)在设置随机数种子时需在最前面加上 np.random.seed(args.seed) #给numpy也设置随机数种子原创 2022-05-04 20:15:50 · 2939 阅读 · 0 评论 -
Jupyter notebook内使用(添加)虚拟环境
法一在Anaconda里安装一个插件。conda install nb_conda然后启动Jupyter notebook即可参考https://www.jianshu.com/p/afea092dda1d法二先激活想要添加的虚拟环境然后pip install ipykernel ipython安装成功后ipython kernel install --user --name pytorch1.6注意:pytorch1.6是自己的虚拟环境名,大家按照自己的更改输入命令之后,敲原创 2022-04-22 11:34:24 · 6764 阅读 · 5 评论 -
多模态关键任务与应用综述(从表示到融合,从协同学习到关键技术梳理)
冗余性 和 互补性 是多模态各种特性存在的基础1.双线性池化特征融合即输入两个模态的特征向量,输出融合后的向量。最常用的方法是拼接、按位乘、按位加。有些作者认为这些简单的操作效果不如外积/叉乘得tensor,不足以建模两个模态间的复杂关系。但外积计算存在复杂度过高的问题。双线性(Bilinear)就是向量外积的计算。双线性池化(Bilinear Pooling)是对双线性融合后的特征进行池化。例如LMF(Low-rank Multimodal Fusion),PTP (polynomialtensor原创 2022-04-18 15:39:23 · 8404 阅读 · 0 评论 -
双线性池化(Bilinear Pooling)详解、改进及应用
双线性池化的汇总解释转载 2022-03-30 10:49:02 · 5813 阅读 · 0 评论 -
统计学习复习笔记
转载自忆_恒心大佬的博客 统计学习复习笔记复习的主要内容:第一章:监督学习与非监督学习第二章:贝叶斯、最小风险贝叶斯公式、先验概率 后验概率 得出风险数值 概率密度估计极大似然估计第三章:线性模型(基本且经典)单变量线性回归、多变量线性、逻辑回归第四章:神经网络第五章:推荐系统第六章:异常检测第七章:决策树第八章:集成学习第九章:特征选择、特征提取基础部分:建议先看一下吴恩达的机器学习入门视频!!!附上之前看的时候记录的笔记:Andrew Ng-机器学习基础笔记(上)-Pyt转载 2021-12-23 10:00:00 · 296 阅读 · 1 评论 -
集成学习之Adaboost算法
文章目录1.背景2.基本原理3.Adaboost算法4.周志华老师Boosting25周年5.Adaboost算法优缺点6.Q&A转载自https://blog.csdn.net/fwh_1307/article/details/1220213481.背景集成学习(ensemble learning)通过构建并结合多个学习器来提升性能集成学习分为两大类:个体分类器存在强依赖方法(Boosting)个体学习器之间不存在强依赖关系(Bagging,随机森林)提升方法的思路:对于一个复杂任转载 2021-12-29 04:45:00 · 2639 阅读 · 0 评论 -
Bert和一些以Bert为基础的预训练模型的Mask区别
• BERT: 提出了MLM和NSP两个任务。MLM随机的MASK掉一些token, 然后根据上下文预测这些token。NSP预测句子B是否是句子A的下一句。简单来说就是一个自监督的完形填空机制。后来有人提出WWM, 即当一个词中的某一个字被mask掉,整个词都被mask掉。• ERNIE: 提出了entity-level masking 和 phrase-level masking, 其中phrase-level masking跟N-gram masking相似。• XLNET: 为了解决预训练阶段出原创 2021-12-26 09:00:00 · 1273 阅读 · 0 评论 -
情感分析[深度学习/机器学习]专业英语词汇分享
情感分析[深度学习/机器学习]英语专业词汇分享个人阅读积累,仅供方便查阅专业词汇情感分析常用词汇基本词汇(~~英语能力足够的可忽略~~)==数学方面==个人阅读积累,仅供方便查阅主要是本人在阅读文献和看书时遇到的词汇,也不一定是专业词汇哦,可能只是常用的词汇, 可惜我这个小菜鸡不认识, 请大佬路过时请轻喷.不过由于主要是机翻兼自己理解,可能翻译会出问题, 如果有更准确的翻译, 请私信我修改。专业词汇直接进入正题:stochastic gradient descent(SGD):随机梯度下降M原创 2021-10-06 10:30:02 · 499 阅读 · 0 评论 -
pytorch自我错误总结
1.NotImplementedError这个错误是 def forward(self, x)函数缩进问题。2.forward() missing 1 required positional argument: 'input’relu 函数没有加参数x原创 2021-10-11 20:44:04 · 841 阅读 · 0 评论