神经网络模型
文章平均质量分 65
ASS-ASH
人工智能,机器学习,深度学习,自然语言处理,情感分析
展开
-
Chatgpt:原理、公式和代码,从基础走近chatgpt
其次,从2003年NPLM开始,几乎每个论文都会讲到如何进行大规模的模型训练,尽量在成本可控制的情况下,即要有成功的设计且还要在可控成本下成功的执行,在当前的NLP-LLM上本身也是很难的工作(参考albert和Roberta,二者都是通过了合理的设计从而使模型可以变得更大)这样就将所有的NLP任务统一起来了。chatgpt的做法是,让模型的知识应用到某个领域,并不计划让模型因为任务的改变而改变,这样的优点就是保留了模型的全量知识,坏处则是要在某个领域上达到和bert一样的水平,需要更多的资源。转载 2023-02-22 20:23:49 · 7177 阅读 · 1 评论 -
RoBERTa极简简介
与BERT模型一致,RoBERTa模型同样使用多个双向Transformer模型的encoder部分堆叠组成主主体框架,能更彻底地捕捉文本中的双向关系。一、采用动态Masking机制,每次向模型输入一个序列时,都会生成一种新的遮盖方式。三、增加了预训练过程的预料规模,扩大Batch Size的同时增加了训练时的步长。二、删除了Next Sentence Prediction(NSP)任务。Transformer-encoder逻辑结构。RoBERTa层逻辑结构图。原创 2023-02-10 23:54:52 · 2398 阅读 · 0 评论 -
ChatGPT概述简介:史上最强AI,即将取代人类?
2023年2月,媒体报道,欧盟负责内部市场的委员蒂埃里·布雷东日前就“聊天生成预训练转换器”发表评论说,这类人工智能技术可能为商业和民生带来巨大的机遇,但同时也伴随着风险,因此欧盟正在考虑设立规章制度,以规范其使用,确保向用户提供高质量、有价值的信息和数据。Interactive的首席执行官斯特劳斯·泽尔尼克(Strauss Zelnick)表示:ChatGPT是“一个非常激动人心的新工具时代”的一部分,可以“让我们的团队和竞争对手的团队更有效地做真正有趣的事情”,但这项技术不会彻底改变电子游戏行业。原创 2023-02-09 22:07:25 · 9819 阅读 · 0 评论 -
论文解读: CycleGAN-VC3
非并行语音转换(VC)是一种无需使用并行语料库即可学习源语音和目标语音之间的映射的技术。 最近,周期一致的对抗网络(CycleGAN)-VC和CycleGAN-VC2在此问题上显示出了令人鼓舞的结果,并已被广泛用作基准方法。 但是,由于CycleGAN-VC / VC2对mel谱图转换的有效性不明确,即使比较方法采用mel谱图作为转换目标,它们也通常用于mel-cepstrum转换。 为了解决这个问题,我们研究了CycleGAN-VC / VC2对mel谱图转换的适用性。通过初步实验,我们发现它们的直接应用转载 2022-08-16 14:43:53 · 1882 阅读 · 0 评论 -
生成对抗网络GAN概述
生成式对抗网络(Generative Adversarial Networks,GAN)主要通过模型中两个模块:生成模型(Generative Model)和判别模型(Discriminative Model)的互相博弈学习产生相当好的输出判别模型的任务就是判断一个实例是真实的还是由模型生成的;生成模型的任务就是生成一个实例来骗过判别模型,两个模型相互对抗,最后会达到一个平衡,即生成模型生成的实例与真实的没有区别,判别模型无法区分输入数据是生成的还是原始真实的数据把GAN想象成是伪造大师和鉴宝专家之间的博弈原创 2022-06-13 17:33:18 · 603 阅读 · 0 评论 -
GCN图卷积神经网络概述
GCN领域最经典的论文之一: https://arxiv.org/pdf/1609.02907.pdfGCN热度为什么越来越高?CNN、RNN对于图结构数据无法解决或者效果不好CNN和RNN处理的数据对象为图片或者语言序列,都属于欧式空间的数据,因此才有维度的概念,欧式空间的数据的特点就是结构很规则。但是现实生活中,其实有很多很多不规则的数据结构,典型的就是图结构,或称拓扑结构,如社交网络、化学分子结构、知识图谱等等;即使是语言,实际上其内部也是复杂的树形结构,也是一种图结构;而像图片,在做目标识别的时候,原创 2022-06-09 01:11:15 · 381 阅读 · 1 评论 -
关于负采样和下采样概念的简单说明
负采样(Negative Sampling)以word2vec中的负采样优化策略为例,即把语料中的一个词串的中心词替换为别的词,构造语料集中不存在的词串作为负样本。在这种策略下,优化目标变为了:较大化正样本的概率,同时最小化负样本的概率;词汇表的大小决定了word2vec进行词向量训练时神经网络将会有一个非常大的权重参数,并且所有的权重参数会随着数十亿训练样本不断调整。negative sampling 每次让一个训练样本仅仅更新一小部分的权重参数,从而降低梯度下降过程中的计算量。下采样(Dow原创 2022-05-10 16:11:06 · 537 阅读 · 0 评论 -
python中的列表、数组以及张量数据类型之间的相互转换
定义一个列表数据L,可以理解为其中包含两个元素,每个元素是一个5维的向量import torchimport numpyL=[[1,2,3,4,5],[2,3,4,5,6]]a=torch.Tensor(L) #列表转换为张量b=numpy.array(L) #列表转换为数组b1=b.tolist() #数组转换为列表c=torch.from_numpy(b) #数组转换为张量c1=c.numpy() #张量转换为数组print(a.size()) #张原创 2022-03-29 18:25:59 · 3941 阅读 · 0 评论 -
pytorch中的torch.unsqueeze和squeeze张量维度变化问题
顾名思义:unsqueeze,扩展维度,返回一个新的张量,对输入的既定位置插入维度 1 squeeze,压缩维度,将输入张量形状中的1 去除并返回。torch.unsqueeze(input, dim)torch.squeeze(input, dim)tensor (Tensor)– 输入张量 dim (int)– 插入/消除 维度的索引以下用一个二维张量进行举例:压缩维度仅对(0,1)索引进行示例,(-1,-2)原理类似import to...原创 2022-03-27 16:35:00 · 2373 阅读 · 0 评论 -
人工智能2021年度回顾:多模态、大模型、Transformer架构、AI语音生成以及法律监管
2021年年终回顾在过去的一年里,全球都在与极端天气、经济通胀、供应链中断以及 Covid-19 的达尔文诡计作斗争。 在科技领域,又是虚拟办公室和虚拟会议的一年。 AI 社区正在继续努力弥合着这个世界,并推进机器学习以更多的能力来造福社会各个角落。 我们已经在万圣节特刊中探讨了 2021 年的重要事件,所以本期杂志里,我们主要介绍有望在 2022 年及以后改变人工智能的重要进展。多模态人工智能的腾飞虽然 GPT-3 和 EfficientNet 等分别处理文本和图像的模型是深度学习获得引.转载 2021-12-23 19:19:22 · 774 阅读 · 0 评论 -
关于DPCNN解读
01导读ACL2017 年中,腾讯 AI-lab 提出了Deep Pyramid Convolutional Neural Networks for Text Categorization(DPCNN)。论文中提出了一种基于 word-level 级别的网络-DPCNN,由于 TextCNN不能通过卷积获得文本的长距离依赖关系,而论文中 DPCNN 通过不断加深网络,可以抽取长距离的文本依赖关系。实验证明在不增加太多计算成本的情况下,增加网络深度就可以获得最佳的准确率。02DPC.转载 2021-11-17 10:44:03 · 1402 阅读 · 0 评论 -
关于预训练模型一些参数的说明
Bert最大处理句子序列长度为512所设定的处理的句子序列长度越大,运行速度越慢,所需的硬件条件越高。原创 2021-11-13 10:36:09 · 3705 阅读 · 0 评论 -
NLP史上最全预训练模型汇总
这篇总结的恰到好处的文章,对ELMo以来的15个代表性的预训练语言模型进行了多维度的对比和分析。本文转载自知乎专栏《高能NLP之路》并进行了剪切和少量修改,作者JayLou,原文链接https://zhuanlan.zhihu.com/p/76912493首先上一张镇楼专用图,看一下ELMo以来的预训练语言模型发展的概况然后上本文正餐,一个高能的question list,这也是本文写作的主线。Question List Q1:从不同维度对比各【预训练语言模型】?转载 2021-11-06 21:38:27 · 1252 阅读 · 0 评论 -
(深度学习)多种循环神经网络及其变体模型结构图解及公式
主流的循环神经网络就是以RNN为基础的各种变体模型人工神经网络:卷积神经网络:循环神经网络:三种基本类型总览:RNN:每个序列索引位置t都有一个隐藏状态h(t)。进一步简化:由于RNN梯度消失的问题,就对于序列索引位置t的隐藏结构做了改进,可以说通过一些技巧让隐藏结构复杂了起来,来避免梯度消失的问题,这样的特殊RNN就是我们的LSTM。LSTM:细化讲解:除了细胞状态,LSTM图中还有...原创 2021-11-05 16:18:10 · 5288 阅读 · 0 评论