[软件工程应用与实践]lingvo学习笔记
文章平均质量分 70
NewtonLoop
这个作者很懒,什么都没留下…
展开
-
[软件工程应用与实践]lingvo学习笔记
2021SC@SDUSClingvo.core.ops.beam_search_step_on_kernels.cc换包啦!换到ops包,里面记录了lingvo的操作们给定“hyps”中当前批次中所有波束的部分假设和预测的下一步得分“scores”,返回得分最好的“k”假设,其中第一个“k”假设用于下一步的搜索。'eos_id’是目标语言的波束id的结束。类方法IsDuplicateHyp作用:判断超参数是否相同源码bool IsDuplicateHyp(const Hyp& cur_原创 2021-12-28 22:26:14 · 207 阅读 · 0 评论 -
[软件工程应用与实践]lingvo学习笔记
2021SC@SDUSClingvo.core.learner.pylearner根据损失来优化变量的子集。它包括一个learning rate schedule,一个优化器,和gradient clipping机制。一个BaseTask可以有多个learner,每个learner优化 变量的一个子集(通常是不连接的)。关于 gradient clipping1.梯度爆炸的影响在一个只有一个隐藏节点的网络中,损失函数和权值w偏置b构成error surface,其中有一堵墙,如下所示2.解决梯原创 2021-12-25 10:57:30 · 1727 阅读 · 0 评论 -
[软件工程应用与实践]lingvo学习笔记
圣诞blog!原创 2021-12-25 10:26:43 · 423 阅读 · 0 评论 -
[软件工程应用与实践]lingvo学习笔记
2021SC@SDUSClingvo.core.lstm_frnn_layer.py使 LSTM RNN 层与 LSTM 神经元融合到 FRNN 的运行输入class LSTMCellExt使用额外的并行方法扩展基于lstm的单元格类类方法def FPropWithProjectedInput(self, theta, state0, inputs)方法作用:该方法是将输入投影跨时间步并行化,以加速训练。参数:theta:层权重 NestedMap。值得注意的是,出于性能原因,它被期望在原创 2021-12-18 21:17:30 · 276 阅读 · 0 评论 -
[软件工程应用与实践]lingvo学习笔记
2021SC@SDUSClingvo.core.layers_with_attentionclass MoEFeedforwardLayer(base_layer.BaseLayer)MoE Mixture of Experts混合专家系统(MoE)是一种神经网络,也属于一种combine的模型。适用于数据集中的数据产生方式不同。不同于一般的神经网络的是它根据数据进行分离训练多个模型,各个模型被称为专家,而门控模块用于选择使用哪个专家,模型的实际输出为各个模型的输出与门控模型的权重组合。各个专家模型原创 2021-12-11 18:36:31 · 850 阅读 · 0 评论 -
[软件工程应用与实践]lingvo学习笔记
2021SC@SDUSC类名class TransformerAttentionLayer(base_layer.BaseLayer)方法def _FinishExtendStep(self, theta, query_vec, unnormalized_query_vec, extended_packed_src, t=None)参数列表:theta: .NestedMap 对象,该对象包含此层及其子层的权重值。query_vec: [target_batch, dim]unnormal原创 2021-12-09 15:24:04 · 625 阅读 · 0 评论 -
[软件工程应用与实践]lingvo学习笔记
2021SC@SDUSClingvo.core.favor_attention包查看导入的compat中基于tensorflow的方法from lingvo import compat as tffrom lingvo.core import py_utilscompat: 兼容性. 用于进行tensorflow的兼容处理内置方法:数据集处理 class _CacheDataset(dataset_ops.UnaryUnchangedStructureDataset):基于无状态缓存实原创 2021-12-09 14:52:58 · 555 阅读 · 0 评论 -
[软件工程应用与实践]lingvo学习笔记
[软件工程应用与实践]lingvo学习笔记2021SC@SDUSC能看出来, 代码的作者不同, 代码的组织风格也不同. 负责该模块的大佬习惯在构造方法时加入默认参数, 起的名字也带有缩写. 读书是与作者交流, 读代码也相当于和那位大佬交流了一下吧! 很有趣.lingvo.core.favor_attention module模块作用 : 实现多头favore -注意层和favore -自我注意层方法next_seed(current_seed)函数作用 : 产生种子源码 :def next原创 2021-11-27 16:29:31 · 3458 阅读 · 0 评论 -
[软件工程应用与实践]lingvo学习笔记
[软件工程应用与实践]lingvo学习笔记2021SC@SDUSC原创 2021-11-25 22:06:40 · 419 阅读 · 0 评论 -
[软件工程应用与实践]lingvo学习笔记
[软件工程应用与实践]lingvo学习笔记2021SC@SDUSClingvo调用tf.nn.seq2seq阅读basic_rnn_seq2seq:input : embeddingoutput : embedding状态向量作为decoder的初始状态; encoder和decoder使用相同的rnn神经元, 不共享权值参数。tied_rnn_seq2seq:input : embeddingoutput : embeddingencoder和decoder共享权值参数原创 2021-11-21 21:40:22 · 607 阅读 · 0 评论 -
2021-11-02
[软件工程应用与实践]lingvo学习笔记2021SC@SDUSC原创 2021-11-02 21:13:06 · 76 阅读 · 0 评论 -
2021-10-27
[软件工程应用与实践]lingvo代码阅读2021SC@SDUSC阅读上一篇笔记时,发现代码截图略显冗余。因此这节只放部分代码截图。lingvo.core.ops包beam_search_step_op_kernels.cclingvo.core.ops.beam_search_step(scores, atten_probs, best_scores, cumulative_scores, in_scores, in_hyps, in_prev_hyps, in_done_hyps, in_at原创 2021-10-27 22:21:09 · 147 阅读 · 0 评论 -
2021-10-24
[软件工程应用与实践]lingvo代码阅读lingvo.core.ops包原创 2021-10-24 11:27:25 · 78 阅读 · 0 评论 -
2021-10-07
[软件工程与实践]lingvo环境配置conda控制台安装pip install lingvo原创 2021-10-17 18:32:17 · 153 阅读 · 0 评论 -
2021-10-15
[软件工程应用与实践]lingvo学习笔记2021SC@SDUSClingvo环境配置原创 2021-10-15 15:08:46 · 413 阅读 · 2 评论 -
2021-09-25
TensorFlow学习2021SC@SDUSCtf.keras实现线性回归pandas读取数据集数据matplotlib绘制图像keras指定输入输出数据维度, 进行模型训练pandas读取数据import pandas as pddata = pd.read_csv(‘C:/Users/NewtonLoop/Desktop/income.csv’)datamatplotlib显示数据初始图象keras建立层级次序模型model = tf.keras.Seq原创 2021-09-25 17:20:19 · 90 阅读 · 0 评论 -
2021-09-22
pycharm+anaconda安装tensorflow控制台输入指令pip install tensorflow检验tensorflow是否安装完成原创 2021-09-22 21:15:06 · 62 阅读 · 0 评论 -
2021-09-22
[软件工程应用与实践]lingvo学习笔记Lingvo是一个tensorflow框架,提供了深度学习协同研究的完整解决方案,专注于seq2seq模型。Lingvo模型有一下模块化的building block组成,非常灵活与容易扩展,中心化实验配置管理以及高度可定制的能力。框架直接支持分布式训练以及量化推理,包含了大量已有的工具、辅助函数、以及最新的研究的想法。学习TensorFlow读lingvo代码...原创 2021-09-22 20:34:17 · 204 阅读 · 1 评论