qq_33314743的博客

原创 命名实体识别

LSTM+CRF

原创 范数

原创 include C c++函数

常用bai的头文件如下 ：#include <ctype.h> //字符处理#include <errno.h> //定义错误码#include <float.h> //浮点数du处理#include <fstream.h> //文件输入／输zhi出#include <iomanip.h> //参数化dao输入／输出#include <iostream.h> //数据流输入／输出#include <stdio.h&g

原创 知识蒸馏

原创 CRF和HMM的区别

CRF是无向图

原创 c++为什么比python快

python 有虚拟机，可用在各个环境上，windows,linuxpython需要解释再执行，C++是直接可执行的C++是结构对齐，存储等都是2的倍数等等欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它

原创 LR和GBDT

LR

原创 GBDT MART CART

Gradient Boosting Decision Tree，即梯度提升树，简称GBDT，也叫GBRT（Gradient Boosting Regression Tree），也称为Multiple Additive Regression Tree（MART），阿里貌似叫treelink。

原创 注意力机制公式

原创 数学基础

概率计算

原创 深度学习相关知识点

dropout什么时候用

原创 基础BN LN amada auc roc 范式 正则化 mle map

基础BN LN amada auc roc 范式

原创 c语言include函数

ctype.h字符处理函数: 本类别函数用于对单个字符进行处理，包括字符的类别测试和字符的大小写转换----------------------------------------字符测试是否字母和数字 isalnum是否字母 isalpha是否控制字符 iscntrl是否数字 isdigit是否可显示字符(除空格外) isgraph是否可显示字符(包括空格) isprint是否...

原创 iteration 和 epoch hidden_size

深度习经看epoch、 iteration batchsize面按自理解说说三区别：（1）batchsize：批深度习般采用SGD训练即每训练训练集取batchsize本训练；（2）iteration：1iteration等于使用batchsize本训练；（3）epoch：1epoch等于使用训练集全部本训练；举例训练集1000本batchsize=10：训练完整本集需要：100 it...

转载 elbo和kl散度

kl散度https://www.cnblogs.com/hxsyl/p/4910218.html一、第一种理解　　　　相对熵（relative entropy）又称为KL散度（Kullback–Leibler divergence，简称KLD），信息散度（information divergence），信息增益（information gain）。　　KL散度是两个概率分布P和Q...

原创 对话模型

看看

原创 分类

没看明白的地方：fasttext—词向量最后求平均吗？softmax如何高效？

原创 RNN LSTM等等基础

sigmoid s型函数，有两类 logistic 和 tanhlogistic= =1／1+exp(-x)tanh(x)= exp(x)-exp(-x)/exp(x)+exp(-x)

原创 几篇文章和源码

https://weibo.com/fly51fly?refer_flag=0000015010_&from=feed&loc=nickname&is_all=1《 FreeLB: Enhanced Adversarial Training for Language Understanding》(ICLR 2020) GitHubhttps://github.com/z...

原创 t-cvae和tgvae

待发

原创 Sentiment-Controllable Chinese Poetry Generation

公式（5）p(xi,yi|xi-1…yi-1…w)=p(xiyixi-1…yi-1…w)/p(xi-1…yi-1…w)=p(yixi-1…yi-1…w)p(xi|yixi-1…yi-1…w)/p(xi-1…yi-1…w)=没有推出来

原创 一些常用的数学概念：内积

在数学中，数量积（dot product; scalar product，也称为点积）是接受在实数R上的两个向量并返回一个实数值标量的二元运算。它是欧几里得空间的标准内积。 [1]两个向量a = [a1, a2,…, an]和b = [b1, b2,…, bn]的点积定义为：a·b=a1b1+a2b2+……+anbn。使用矩阵乘法并把（纵列）向量当作n×1 矩阵，点积还可以写为：a·b=a...

原创 生成式和判别式模型

判别式条件概率CRF，生成式联合概率HMM

原创 persona chat

个性聊天Exploiting Persona Information for Diverse Generation of ConversationalResponses

原创 梯度下降 反向传播算法和梯度下降

GBDT算法原理与系统设计简介.pdf 中深度学习反向传播中也是这样吗？梯度下降方法计算 w ?

原创 gbdt 梯度下降梯度爆炸梯度消失

GBDT算法原理与系统设计简介.pdf 中

原创 learn to rank ltr

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入https:...

原创 wx+b

@wx+bTOCWx+B使得 x[0.1 -0.5 0.8 3…] 映射到一个 W_DIM（W为W-dimX-dim的矩阵） 维度的logit向量上[-1，0.5，3，。。。。] 然后用softmax、logistic回归等可以归一化成【0，1】之间的数值当X是一个NX-dim矩阵的时候，WX=W-dimN的矩阵# 欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdo...