AI算法
文章平均质量分 64
介绍有关AL的知识点
Neo的作战室
这个作者很懒,什么都没留下…
展开
-
KAN神经网络简短介绍
Kolmogorov-Arnold Networks (KANs) 是一种创新的神经网络模型,它挑战了传统多层感知器(MLPs)的设计,通过将激活函数从节点转移到边上来提升模型的性能和可解释性。KAN的核心在于,其所有权重参数均被单变量的样条函数代替,这些函数可根据训练数据自适应调整,从而提供了比固定激活函数更高的灵活性和适应性。原创 2024-05-12 14:04:28 · 687 阅读 · 0 评论 -
论文 Self-MM 解读
Learning Modality-Specific Representations with Self-SupervisedMulti-Task Learning for Multimodal Sentiment Analysis摘要1.设计了一种标签生成模块,获得独立的单模态标签2.设计权重调整策略,平衡不同子任务之间的学习进程特征学习中 前向引导 :捕捉不同模态之间的差异信息后向引导:附加损失函数作为先验约束,使得模态表征既包含一致信息又包含互补信息paper的贡献:1.原创 2021-04-13 11:06:59 · 1976 阅读 · 0 评论 -
keras源码阅读
下载keras源码包,里面的目录大致为|-- docker # 通过docker安装指南集dockerfile|-- docs #说明文档|-- examples #应用示例|-- keras #源码核心| |-- applications #常用模型| |-- backend #底层backend| |-- callbacks原创 2021-03-14 14:28:28 · 219 阅读 · 0 评论 -
清华论文CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modali
CH-SIMS: A Chinese Multimodal Sentiment Analysis Dataset with Fine-grained Annotations of Modality创新点1. 提出了一种数据集,可以同时去做单模态分类,多模态分类以及多任务分类。2. 提出了一种多模态多任务的后端融合的框架,在这个框架下进行多模态训练会使得测试结果更高。论文细节单模态和多模态的标签是分开的对每一段语音,文本,视频都叫五个人去打标签,每个人打的标签只有三种,1是积极的,0中性的,-原创 2021-03-08 15:32:16 · 3041 阅读 · 8 评论 -
解决使用keras中 cannot import name ‘_time_distributed_dense‘的问题
参考这个网址:https://github.com/datalogue/keras-attention/issues/15和https://stackoverflow.com/questions/48557250/keras-error-cannot-import-name-time-distributed-dense在代码中直接添加_time_distributed_dense函数def _time_distributed_dense(x, w, b=None, dropout=None,原创 2020-11-19 11:06:50 · 1045 阅读 · 1 评论 -
欢迎来到pytorch教程
一个60分钟的教程一.张量pytorch与numpy中的ndarray具有相同功能,也可以通过GPU进行加速计算>>> import torch>>>>>> x = torch.empty(5,5)>>> print(x)tensor([[8.9082e-39, 1.0194e-38, 9.1837e-39, 4.6837e-39, 9.2755e-39], [1.0837e-38, 8.4490e-39,原创 2020-07-04 18:37:32 · 129 阅读 · 0 评论 -
Attention结构解析
一篇最重要的论文《Attention Is All You Need》中介绍了Transformer结构。总共分为两个部分encode和decode,有三个小模块,attention,Feed Forward和decode部分的multi-head attention模块。一.Attentioninput embedding使用word2vec将tokens转换成词向量,如ELMO或S...原创 2020-02-22 11:57:57 · 1758 阅读 · 0 评论 -
keras中的optimizers
一.clip_norm()梯度裁剪函数,我觉得称为梯度正则化也可以,为了防止梯度爆炸或梯度消失,常用在RNN中。先贴代码:def clip_norm(g, c, n): if c <= 0: # if clipnorm == 0 no need to add ops to the graph return g # tf require using a...原创 2020-01-10 11:39:43 · 1250 阅读 · 0 评论