深度学习
文章平均质量分 63
深度学习
@@@龙猫
君子可内敛不可懦弱,面不公可起而论之
展开
-
自注意力机制(self-attention)
输入的类型输入一堆向量文字处理声音讯号图的节点可以看作一个向量表示输出是什么呢每一个向量都有一个标签应用:词性标注,语音,social network整个句子有一个标签应用:情感分析,语音辨认,图机器自己决定输出多少个标签应用:seq2seq(机器翻译)原创 2022-10-29 19:05:28 · 1355 阅读 · 0 评论 -
RNN模型与NLP应用(4)LSTM模型
这篇主要讲述LSTM的基本过程以及实现代码,LSTM是一种RNN模型,是对Simple RNN的改进如下图,LSTM有四个参数矩阵LSTM避免梯度消失问题,可以有更长的记忆。原创 2022-10-27 20:06:35 · 689 阅读 · 0 评论 -
RNN模型与NLP应用(3):Simple RNN
代码实现'数据集读取与预处理' # 此处使用Keras库自带函数进行简洁实现(从零开始实现请看上一节) # 使用keras的embedding层处理文字数据(同样使用imdb数据集) from keras . datasets import imdb from keras import preprocessing。原创 2022-10-26 13:56:00 · 736 阅读 · 0 评论 -
RNN模型与NLP应用(2):文本处理与词嵌入
假定w=7,一个句子如果超过了7,将前面的截断,保留后面w个词,同时也可以保留前面词,截断后面的词,如果这个句子比w还短,则在前面pad it with zeros,这样都可以存储在一个矩阵里面。利用word Embedding层将每个单词映射到低维向量,所以每个长度为20的电影评论都可以被Flatten成160维向量,最后用线形分类回归器分成0和1的数,0代表负类评论,1代表正类评论。我们的任务是学习训练出来的词向量会带有感情色彩,就比如好的感情色彩的词应该在一块,则它们的词向量应该相似。原创 2022-10-22 19:05:27 · 656 阅读 · 0 评论 -
RNN模型与NLP应用(1):数据处理基础
这章主要介绍RNN原理以及在NLP的应用,在看了几个RNN的视频之后,对RNN基础知识有了了解,作为深度学习的小白来说,还是从基础到应用来做一个记录,,可以用哈希表,如果在哈希表出现过,将表里的该词频数加1,如果没有在哈希表出现过,将该词加入哈希表,并将词频置为1,再排序从大到小,,在字典找不到的词,有可能是新词,也可能是拼写错误的词,在做one-hot Enconding 编码是可以忽略,也可以编码为0。如下图所示,假设用索引编号,美国加中国等于印度,这是不可能的。把文本变成单词的列表,原创 2022-10-22 15:07:59 · 350 阅读 · 0 评论 -
【吴恩达深度学习】——NLP和Word Embedding
这种表征方式使得词与词之间的相似性很容易表征出来,这样对于不同的单词,模型的泛化性能会好很多,下面使用t-SNE算法将高维的词向量映射到2维空间,进而对词向量进行可视化,很明显可以看出对于相似的词总是聚集在一块。原创 2022-10-02 18:39:36 · 1195 阅读 · 0 评论 -
ML学习笔记--Word Embedding
机器通过阅读大量的文章来学习单词的意思,通过上下文来理解一个单词原创 2022-10-01 20:46:28 · 548 阅读 · 0 评论 -
神经网络反向传播+过程+思维导图
反向传播算法原创 2022-09-22 21:24:06 · 254 阅读 · 0 评论 -
RNN+基本原理+思维导图
从BP算法,CNN(卷积神经网络)中会发现, 它们的输出都是只考虑前一个输入的影响而不考虑其它时刻输入的影响, 比如简单的猫,狗,手写数字等单个物体的识别具有较好的效果. 但是,, 这些算法的表现就不尽如人意了.因此, RNN就应运而生了.原创 2022-09-22 19:43:30 · 271 阅读 · 0 评论 -
CNN+基本原理+思维导图
1.参数数量太多2.对于图像识别任务,每个像素和其周围像素的联系是比较紧密的,和离的远的像素的联系可能就很小了3.网络层数的限制通过剃度下降方法训练深度全连接神经网络很困难,剃度很难超过3层,不可能得到很深的全连接神经网络,也就限制了能力。原创 2022-09-22 09:48:55 · 289 阅读 · 0 评论