深度学习
文章平均质量分 66
爽歪歪和哇哈哈哈
研究生在读 程序媛 IT女
如果文章有错请指正,让我们一起学习,天天向上,一起进步!
如果对你有帮助,还请点赞收藏哦~
展开
-
Self-Attention-自注意机制
通过self-attention自注意,RNN 不太容易忘记且容易关注相关信息。simple-RNN新的状态h。有介绍,这里便不累赘了)两者不一样的地方在于h。(相关性计算在上一篇。原创 2023-02-06 22:24:52 · 352 阅读 · 0 评论 -
Attention-自注意机制
Attention 可以大幅提升seq2seq的遗忘问题。有了Attention,Seq2Seq 模型不会忘记源输入,且decoder解码器就知道该把注意力集中在哪里。所以attention解决了遗忘问题,提高了准确率,但是代价就是计算量的提高。第一种方法:(V T 矩阵 都是训练的参数)解码器到状态t时,我们一共计算了mt个权重。知道输入x1-xm的完整信息,解决遗忘问题。和当前状态s0的相关性,记为权重a。, 所有的a加起来等于1.缺点: 计算量大得多。,我们计算权重: a。原创 2023-02-06 21:19:22 · 400 阅读 · 0 评论 -
Sequence-to-Sequence Model (Seq2Seq)
数据处理:大小写,拼写错误等(数据预处理)->tokenization(它可以是char-level也可以是word-level的 )->建立两个字典(一个英语一个德语的,因为每种语言使用的字母个数或者词语构造不一样)一个编码器encoder,一个解码器decoder。decoder的初始状态是encoder的最终输出。encoder的最终输出是最后的状态h和传输带c。用Seq2Seq实现机器翻译:多对多问题。decoder的输出是每个字符的概率值。如下图,当前的标签是‘m’每一轮的状态h,c都会更新。原创 2023-02-06 14:07:33 · 520 阅读 · 0 评论 -
Long Short Term Memory (LSTM)
一定要看懂这句话,理解,因为下面其他参数矩阵的计算也是类似的,只不过输入不一样!原创 2023-02-06 13:40:06 · 474 阅读 · 0 评论 -
Simple RNN Model
我们知道全连接网络FC Nets 和卷积神经网络ConvNets都是属于one to one 模型。比如给定一个输入如一张图片,我们输出他是猫还是狗。但是对于输入输出长度不一致的时序型数据sequential data(比如文本翻译)等就不适用。先讲一下模型。原创 2023-02-06 01:03:55 · 152 阅读 · 0 评论 -
文本处理和词嵌入-Text Processing and Word Embedding
接上一遍博客首先我们先来了解一下,IMDB电影评论数据集The IMDB Movie Review Dataset。里面有5万电影评论(文字),每篇评论都有“正面”或“负面”的标签,这是一个二进制分类问题。可以划分为25k的训练集和25k的测试集。••这个就有点像国内的豆瓣评分一样。我们人很容易通过电影评论知道电影的评分或者好坏,我们想让机器学习也能做到,应该怎么做呢?原创 2023-02-06 00:04:02 · 422 阅读 · 1 评论 -
自然语言入门NLP-数据处理基础知识
如果需要,将每个index转换为 one-hot vector.one-hot的dim长度为单词的词数。拿上述这张表举例:年龄是数值特征numberic features没问题(35>31 ok ),性别是二元特征binary feature,可以用1代表男人,0代表女人。【写在前面:以下所讲都基于你对机器学习有一定的基础知识,至少应该知道什么激活函数,反向更新,梯度下降,全连接层等等基本术语,不懂的可以先去补一下。将每个单词映射到索引。我们使用199-dim 数值向量表示人的特征(年龄、性别、国籍)。原创 2023-02-05 22:46:56 · 463 阅读 · 0 评论 -
conda创建虚拟环境&conda常用命令&复制环境
conda常用命令原创 2022-11-15 22:05:22 · 622 阅读 · 0 评论 -
基于Scikit-Learn和TensorFlow机器学习实战 Hands-On Machine Learning with Scikit-Learn&TensorFlow
目录安装anaconda环境装相关依赖或者第三方库第二章代码解读安装anaconda环境参考这篇文章或者自己百度https://www.jianshu.com/p/d3a5ec1d9a08装相关依赖或者第三方库pip install pandaspip install scikit-learn==0.20.3 #使用scikit-learn跑一个两年前的案例, 报错:cannot import name ‘joblib’ from ‘sklearn.externals’#原因: scikit原创 2020-10-14 10:28:15 · 334 阅读 · 1 评论 -
深度学习基本概念、CNN、VGGNet
深度学习基本概念和CNN基础深度学习深度学习与神经网络的区别深度学习的框架基本概念深度学习深度学习的最初级版本是人工神经网络,是机器学习的一个分支,其试图模拟人脑,通过更加复杂的结构自动提取特征。深度学习与神经网络的区别从广义上说深度学习的网络结构也是多层神经网络的一种。传统意义上的多层神经网络是只有输入层、隐藏层、输出层。其中隐藏层的层数根据需要而定,没有明确的理论推导来说明到底多少层...原创 2019-04-24 23:33:38 · 2228 阅读 · 2 评论 -
pytorch nn.Linear()
查官方文档的api https://pytorch.org/docs/stable/nn.html如下:官方给的例子为:>>> m = nn.Linear(20, 30)>>> input = torch.randn(128, 20)>>> output = m(input)>>> print(output.si...原创 2020-04-09 22:25:09 · 197 阅读 · 0 评论