![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
笔记
文章平均质量分 51
冲冲冲@chong
这个作者很懒,什么都没留下…
展开
-
序列式容器/配接器:heap、priority queue、slist
1、heap是组成priority queue的组件,底层由complete binary tree(完全二叉树)组成,可由vector和一些heap算法实现为完全二叉树的形式。分为max-heap和min-heap 。 max-heap:每个节点的键值大于或等于其子节点的键值。 min-heap:每个节点的键值小于等于其子节点的键值。 2、priority queue :底层为其它容器实现,是一种配接器。与queue不同的是它带有权重观念,其元素自动依照权值从大到原创 2023-04-05 09:19:46 · 156 阅读 · 0 评论 -
NLP学习笔记:Attention
具体实现:在seq2seq的编码器中将每个时刻的隐藏状态ht汇总为hs传入解码器,然后在解码器中添加Attention层,该层负责把编码器中传进来的对应时刻的ht选出来标记为上下文向量c;两个LSTM层按相反方向传递隐藏状态,最后将各个时刻两层LSTM的隐藏状态向量拼接(求和、取平均也可以)起来,作为最终隐藏状态向量。跨层连接时,在连接处两个输出被相加,加法的反向传播,梯度被原样传播,不会出现梯度消失或爆炸。h为解码器中LSTM层的输出,h*hs为内积计算hs中个行向量与h的相似度。原创 2023-02-09 11:39:56 · 128 阅读 · 0 评论 -
NLP学习笔记:seq2seq
Peeky(偷窥),将编码器输出的隐藏状态信息h分配给解码器所有的LSTM和Affine层,加入Peeky后模型参数增加带来计算量的负担。根据概率分布进行概率性的选择(概率性的方法)。生成单词的语言模型-->获得单词的概率分布-->根据概率分布采样下一个出现的单词。:反转输入数据(直观的认为反转数据后反向传播梯度更加平滑)。机器翻译、自动摘要、问答系统、邮件自动回复、图像自动描述等。,seq2seq(从一个时序到另一个时序的神经网络)。根据已经出现的单词输出下一个出现的单词的概率分布。原创 2023-02-09 10:33:06 · 136 阅读 · 0 评论 -
NLP学习笔记:GateRNN
反向传播矩阵连乘);控制下一隐藏层 ht 的输出:o=sigmoid(x*Wx+h(t-1)*Wh+b)。控制记忆单元ct 遗忘不必要的信息:f=sigmoid(x*Wx+h(t-1)*Wh+b)。输入C(t-1)和h(t-1)经过tanh或者Sigmoid函数转换计算向下层输出ht,向下一LSTM输入ht和ct。将输入门i和记忆单元g的乘积添加到上一记忆单元c(t-1);记忆单元反向传播为矩阵的对应元素乘积,每次都基于不同的门值进行对应元素的乘积。原创 2023-02-09 10:20:14 · 228 阅读 · 0 评论 -
NLP学习笔记:RNN
被截断的BPTT(时序数据过长时,反向传播梯度消失以及计算量过大,因此将网络截断为小型网络,正向传播不变,反向被截断);将xs(x0,x1,...xT-1)捆绑为输入,hs(h0,h1,...hT-1)捆绑为输出,一次处理T步的RNN。给出单词序列发生的概率(基于给定的已经出现的单词的信息输出将要出现的单词的概率分布)困惑度(或分叉度,简单理解为概率的倒数,困惑度越高语言模型越差),分叉度指下一个可能出现的单词的候选个数)。行方向保存样本数据;输入多个数据时其平均损失L,其平均困惑度为exp(L)。原创 2023-02-09 10:09:47 · 106 阅读 · 0 评论 -
机器学习笔记:第3章 线性模型
线性回归、对数几率回归、线性判别分析、多分类的拆分。原创 2022-12-26 20:54:37 · 116 阅读 · 0 评论 -
机器学习笔记:第2章 模型评估与选择
基于自助采样法,每次从m个样本的数据集D中,进行有放回的随机采样 1个样本拷贝到d中,进行m次操作后得到含有m个样本的d作为训练集,d中未出现的D中的样本作为测试集,评估模型的泛化误差。将D划分为k个互斥的子集,每次使用k-1个子集的并集作为训练集S,剩余1个为测试集,从而获得k组训练集/测试集,进行k次训练和验证,最终返回k次的平均值。模型预测正例正确的样本数TP(真正例),占模型预测为正例的样本数(TP+FP)的比例:P=TP/(TP+FP)经验误差/训练误差:学习器在训练集上的误差。原创 2022-12-10 17:21:07 · 201 阅读 · 0 评论 -
机器学习笔记:第1章 机器学习发展史
R.S.Michalski等人(1983)将机器学习划分为:从样例中学习、在问题求解和规划中学习、通过观察和发现学习、从指令中学习等种类。E.A.Feigenbaum等人(1983)把机器学习划分为:机械学习、示教学习、归纳学习、类比学习等种类。NFL(没有免费的午餐理论):在所有问题出现机会均等、或所有问题同等重要的前提下任何算法的期望性能都相同。20世纪80年代符号主义学习:决策树和基于逻辑的学习(归纳逻辑程序设计)。原创 2022-12-09 19:05:52 · 157 阅读 · 0 评论 -
自然语言处理:有关单词含义理解、word2vec单词分布式表示的总结
单词含义的三种理解方式、单词分布式假设、word2vec及其高速化的理解原创 2022-11-24 10:14:59 · 205 阅读 · 0 评论 -
Tensorflow常见的抑制过拟合方法:数据增强、Dropout、BatchNormalization、正则化
Tensorflow常见的抑制过拟合方法:数据增强、Dropout、BatchNormalization、正则化原创 2022-10-24 11:00:37 · 897 阅读 · 0 评论 -
神经网络的学习(训练):损失函数(均方误差、交叉熵误差)
神经网络的学习(训练):损失函数(均方误差、交叉熵误差)原创 2022-10-06 11:38:11 · 1014 阅读 · 0 评论 -
sign_language_mnist.csv数据集,26个英文字母识别,读取.csv文件中的数据为多维数组格式存储的图像,并显示图像
sign_language_mnist.csv数据集,26个英文字母识别,读取.csv文件中的数据为多维数组格式存储的图像,并显示图像原创 2022-09-27 22:32:36 · 772 阅读 · 0 评论 -
C++常用的容器:vector、string、deque、stack、queue、list、set、map、hash_set、hash_map等的介绍
本文详细介绍了vector、string、deque、stack、queue、list、set、map以及pair对组的基本语法。原创 2022-09-25 22:42:46 · 4088 阅读 · 0 评论 -
plt.imshow()显示以ndarray格式存储的图像数据
plt.imshow()介绍,显示以ndarray格式存储的图像数据原创 2022-09-24 10:48:51 · 4145 阅读 · 1 评论 -
Tensorflow horse-or-human识别 --(1)kerastuner 调整模型参数
应用Tensorflow搭建卷积神经网络CNN,进行horse-or-human 识别训练,利用Hyperband进行模型参数自动优化。原创 2022-09-11 11:22:55 · 580 阅读 · 0 评论 -
Anaconda安装Pytorch和Tensorflow环境后,jupyter Notebook 打开后内核正忙
jupyter notebook 内核正忙原创 2022-08-25 13:28:40 · 925 阅读 · 2 评论