![](https://img-blog.csdnimg.cn/20190927151132530.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
机器学习/深度学习
文章平均质量分 89
ML and DL
大晴天下的多肉
这个作者很懒,什么都没留下…
展开
-
译(Transformer) NIPS-2017 ---Attention Is All You Need
Attention Is All Y ou Need摘要 包括编码器和解码器的主要序列转换(sequence transduction)模型是基于复杂的循环或卷积神经网络的。性能最好的模型还通过注意机制(attentionmechanism)连接编码器和解码器。我们提出了一种新的简单网络架构—Transformer,它完全基于(based solely on)注意力机制,且完全摒弃了循环和卷积。在两个机器翻译任务上的实验表明,这些模型在质量上更优,同时具有更强的并行性(parallelizable)翻译 2022-03-29 11:06:32 · 451 阅读 · 0 评论 -
译(自编码器) Hinton2006---Reducing the Dimensionality of Data with Neural Networks
Reducing the Dimensionality of Data with Neural Networks——使用神经网络降低数据维度G. E. Hinton and R. R. Salakhutdinov通过训练一个具有小的中间层的多层神经网络去重构高维输入向量,可以将高维数据转化为低维编码。在这种“自动编码器(autoencoder)”网络中,梯度下降可以用来微调(fine-tuning)权值,但是只有在初始权值接近一个好的解时才有效(work well)。我们描述了一种初始化权值的有效方法,原创 2022-03-22 10:21:42 · 2363 阅读 · 0 评论 -
线性模型——(1)线性回归
线性模型——(1)线性回归在接下来的一段时间我们将介绍五种线性模型,它们分别是:1.线性回归;2.逻辑回归(logistic回归);3.softmax回归;4.感知机(perceptron);5.支持向量机(SVM)。1.模型介绍在本文中,我们先只展开线性回归的部分,线性回归是机器学习中一个基础的模型,它的目的是对自变量和因变量间的关系做回归分析。当只有一个自变量时称为一元线性回归,公式如下:y=ax+b有多个自变量时称为多元回归,公式如下:线性回归模型训练的目的就是使得以下残差平方原创 2021-10-22 17:20:49 · 1582 阅读 · 0 评论