lygeneral的博客

1.Transformer-XL1.1 Vanilla Transformer Language Models把长文本的输入切分成多个SegmentTransformer-XL: Attentive Language Models Beyond a Fixed-Length Context（Google）（ICLR 2019 被拒）基于一种相对位置编码方式建立循环的transformer建模机制，解决长文本的建模，捕获超长距离依赖。优点在几种不同的数据集（大/小，字符级别/单词级别等）均实现了最先

1.框架图2.部署方案3.PaddleHub和PaddleNLPPaddleHub：对现有模型进行fine-tuningPaddleNLP：已经构建完成，可直接使用（情感分类）1）PaddleHub2）PaddleNLPPaddleNLP是百度开源方便开发者灵活插拔尝试多种网络结构，并且让应用最快速达到工业级效果。的工业级NLP工具与预训练模型集，能够适应全面丰富的NLP任务，PaddleNLP完全基于PaddlePaddle Fluid开发，并提供依托于百度百亿级大数据的预训练模型，能

1.ERNIEERNIE（Enhanced Representation through Knowledge Integration） 是百度基于BERT开发的NLP模型。ERNIE使用了更多的语料，除维基百科等数据集外，还使用了中文维基百科，百度百科，百度新闻，百度贴吧数据集。该模型的参数： L = 12，H = 768，A = 12 （BERT BASE）。ERNIE实现了实体级别的Mask，实体级别的连续Mask，改变了训练Task，而BERT是基于单字的Mask，其区别如下图所示：ERNIE

1.

1.文件目录结构目录应放置文件内容/root系统管理员(root)的家目录。 之所以放在这里，是因为如果进入单人维护模式而仅挂载根目录时，该目录就能够拥有root的家目录，所以我们会希望root的家目录与根目录放置在同一个分区中。/home这是系统预设的使用者家目录(home directory)。 在你新增一个一般使用者帐号时，预设的使用者家目录都会规范到这里来。比较重要的是，家目录有两种代号：1） ~ 代表当前使用者的家目录；~guest则代表用户名为guest的家目录。

1.ELMOELMO（Embedding from Language Model）是一种基于LSTM的词向量的生成方式，采用两个单向LSTM。词向量的表示基于当前的句子上下文，高层LSTM捕捉上下文的词特征（语义），底层LSTM捕捉句法层次信息（语法）。网络架构如下图：其中，前向语言模型：后向语言模型：目标函数最大化：优点是解决了一词多义，在一些任务上有提升。缺点是LSTM串行，训练成本大，LSTM对长距离的提取特征不如Transformer。2.GPTGPT（Generative

1.51）Positional Encoding2）Multi-Head Attention多层自注意力层

1.GLOVEWord2vec只关注局部，没有考虑全文语言特征。因此引出使用全局统计信息的GLOVE（Global Vectors for Word Representation），融入全局的先验统计信息，可以加快模型的训练速度，又可以控制词的相对权重。现分别计算在ice和steam出现的情况下solid、gas、water、fashion出现的概率，如下表所示Probability and Ratiok=solidk=gask=waterk=fashionp(k|ice)

1.

1.Beam search参考资料[1]DIVERSE BEAM SEARCH[1]Scheduled Sampling for Sequence Prediction with Recurrent Neural Networks[]ROUGE- A Package for Automatic Evaluation of Summaries

1.神经网络初始化初识化神经网络权重www1.1固定方差1）高斯分布E=0E=0E=0，参数分布符合N(0,σ2)N(0,\sigma^2)N(0,σ2)，σ\sigmaσ过小会导致输出神经元过小，经过多层后会慢慢消失，也可能会造成sigmoid函数丢失非线性的能力。2）均匀分布1.2基于方差缩放1）Xavier初始化（Glorot）glorot_uniform，根据每层神经元数量调整参数方差。self.gru = tf.keras.layers.GRU(self.dec_units,

1. 图计算理论计算图中节点为基本公式，权重为两节点间导数。对公式e=（a+b）∗(b+1)e=（a+b）*(b+1)e=（a+b）∗(b+1)，令c=a+b,d=b+1c=a+b,d=b+1c=a+b,d=b+1，则e=c∗de=c*de=c∗d因此，∂e∂b=∂e∂c∂c∂b+∂e∂d∂d∂b=2∗1+3∗1=5\frac{\partial e}{\partial b}=\frac{\partial e}{\partial c}\frac{\partial c}{\partial b}+\frac

1.Encoder-Decoder基础的seq2seq = Encoder + Decoder + 语义编码c （连接两者的中间状态向量）。Encoder–Decoder 结构，输入是一个序列，输出也是一个序列。Encoder 中将可变长度的信号序列变为固定长度的向量表达，Decoder 将这个固定长度的向量变成可变长度的目标信号序列Encoder，Decoder可以是CNN，RNN，Transformer三种结构，Encoder和Decoder可以是相同的结构，也可以是不同的结构。2.Attenti

1.RNNRNN神经网络每一个状态的输出与上一个状态的输出有关，xtx_txt​和ht−1h_{t-1}ht−1​进行拼接作为神经网络的输入计算得到ttt时刻的输出hth_tht​，h1=f(h0,x0)h_1=f(h_0, x_0)h1​=f(h0​,x0​)。因此RNN模型无法进行GPU并行加速。1.1 parameter sharing神经网络的参数为whw_hwh​，通过不断循环递归训练得到该参数。1.2Exploding and Vanishing根据链式法则，在导数值很小的情况

参考资料[1]GitHub README模板[2]GitHub Python gitignore文件[3]

概览一、前言1.问题2.数据二、特征工程三、搭建模型一、前言1.问题Kaggle比赛Google QUEST Q&A Labeling是一个文本分类问题（多标签分类问题）2.数据数量：训练样本6079条，测试样本476条特征（10个维度）：文本部分question_title，question_body，answer；非文本部分question_user_name，qustio...

赛题基于用户90天内的收支数据和天级别的资产信息训练模型，然后根据用户最近60天的收支数据和资产信息，预测用户7天后的账户余额。训练数据集(train.txt) 提供了用于建模的数据。验证数据集(test_input.txt)有3000个用户在某个日期以前60天内的收支数据和天级别的资产信息，请对用户7天后的账户余额进行预测。这两个个文件都拥有2种数据：资产信息数据和收支数据。收支数据具有一级...

概览一、前言二、时间序列基础1.AR2.MA3.ARMA4.ARIMA三、预测四、服务器部署一、前言2018年参加了华为的软件挑战赛，当初我所在的学院参加了这个比赛拿到名次的同学也基本都拿到了华为的offer，有的去了华为，有的因为各种原因去了其他的公司。最近在回顾时间序列算法模型，当时参加比赛使用了几种模型，于是在此进行回顾。时间序列模型通常分为传统机器学习模型和神经网络模型，其中传统机器...

概览一、前言二、目标检测1.图像预处理2.帧间差分法三、目标跟踪一、前言在NVH性能开发过程中，需对整车进行振动试验，进行模态分析。在多个模态频率下，车门、天窗、轮胎或排气系统会产生共振， 形成最大的振幅。如图中排气系统在某个频率下产生了共振，在水平方向产生最大振幅。二、目标检测1.图像预处理由于振动部件的颜色比较明显，振动幅度越大，红色越明显，而静止部分为蓝色。可以尝试将彩色图像RG...

概览一、前言二、基于PID 的速度控制1.PID控制器2.PID速度控制二、基于模糊控制的速度控制1.变量的模糊化2.模糊查询表的计算3.模糊控制设置速度三、总结一、前言在控制领域，PID算法是应用最广泛的算法之一。小到电机的转速，大到机器人稳定性的控制。在实现智能小车速度的闭环控制时首选简单有效的PID控制算法。二、基于PID 的速度控制1.PID控制器PID（Proportion I...