NLP
龙仔941
这个作者很懒,什么都没留下…
展开
-
堆栈计算/二叉树表达简单数学表达式
利用堆栈方式,入栈出栈&运算符运算等级,进行计算; 同一级的运算符,递归计算完,作为一个整体,压入栈;如此反复;按照运算优先级递增的顺序压栈,如果出现非此顺序计算符,则将原来的运算符&数字出栈计算,结果再压栈;# ELEMENT=['+','-','*','/']import reLEVEL_1=['+','-']LEVEL_2=['*','/']LEVEL_3=['(']LEVEL_4=[')']def is_symbol(element): if ...原创 2021-10-29 12:00:19 · 405 阅读 · 1 评论 -
graph-attention-network
representationN is the number of Nodesnode featureneighbourhood+leakrelu->nodeupdatewith head=kmulti-head+neighbourhood->nodegraph相关的算法,都是相邻点的embedding表达,不断的迭代, gat就是 通过建立相邻边的attention,来拟合周边attention,multihead机制,提升图attenti原创 2021-09-23 10:46:11 · 213 阅读 · 0 评论 -
gaussian discriment analyse
gda: x as variance, P(y) as prior probility高斯分布公式梯度下降公式牛顿公式梯度下降公式logistic classificationinput:gda:基于类别的变量高斯分布,基于变量分布,带入label,进行P的输出判断lr:基于整体的分布,进行P的输出判断...原创 2021-09-17 13:56:17 · 131 阅读 · 0 评论 -
跳表算法总结
思路:将数值列表分段,每个段对应一个代表数值, 数值段排序;查询时候,从高层开始查询,递归溯源至底层两点之间,然后进行插入;插入时候,每层均插入该段的代表点应用:1.快速查询,数据进行分段 定位段首为代表值; 2.二分查找算法,将数据整理为二分形式,链表形式...原创 2021-09-11 16:39:27 · 124 阅读 · 0 评论 -
对话系统思考
话术澄清模块: 实体反问,query改写,话术推荐,确认选择触发条件:意图/faq置信度不足,实体缺失,referencehttps://developer.aliyun.com/article/276269原创 2021-06-28 11:00:31 · 107 阅读 · 0 评论 -
label-embedding
Joint Embedding of Words and Labels for Text ClassificationMulti-Task Label Embedding for Text Classification原创 2021-06-19 17:06:11 · 771 阅读 · 0 评论 -
关联数据挖掘
1.apriori:对每个关联关系中的元素进行所有xi2.fp-growth原创 2021-06-19 15:05:20 · 277 阅读 · 0 评论 -
keyword deep semantic matching paper ==>keyword 实现
基于 keyword deep semantic matching paper, keyword方面的关键代码复现应用:1.对同一个embed-represent 的表达, 从 a,b-keyword角度进行attenion生成新的向量,再进行拼接,生成整体的表示向量 2.基于a,b的keyword-mask,和 a,b的mask真实表示,生成新的attention-mask矩阵,keyword-b和seq-a有交互的地方标记为1,如此作为attention添加到s......原创 2021-04-26 21:47:03 · 521 阅读 · 1 评论 -
bert-flow
bert存在问题:共现: bert 模型的原理,利用上下文c对token的概率求导,本质是 c与token的共现关系编辑距离与similarity关系:bert模型编辑距离越大,similarity越小,edit-distance越小,similarity越大, bert-flow则相反,均匀分布,similarity与编辑距离无关高频词低频词与均值的分布关系,语义不完整的空间存在:以整体语义向量均值为原点, 高频词接近原点,低频词远离,分布不均,不在同一个空间...原创 2021-04-04 12:24:42 · 340 阅读 · 0 评论 -
soft-masked-bert
整体公式如下:总结: 门控机制引入,类比于lstm/gru, 进行e_i 和 e_mask的融合,门控机制通过sigmoid(gru) 进行计算, 同时 ce(fc(gru))可以计算是否coef的判别 纠错和预测作为multi-task创新点: 门控机制的类比,是参差网络的一种类似的结构,更多的信息处理, 对e_mask和e_i进行门控融合;业务层面引入e_mask作为对coef错误的替代; bert-enc...原创 2021-03-19 23:42:06 · 413 阅读 · 0 评论 -
二分法从排序数组中找出一个数组的左右区间
总结:常规的二分法确定一个target的区间,通过mid与left/right的大小,进行l/r_pointer的移动; 此处是确定一个区间,通过对target_tuple的分别确定,组合确定一个整区间错误之处:array[mid]==target时候,直接返回,不等于时候,根据移动l/r,决定+1/-1def binary_search(sub_array_1d,target): left=0 right=len(sub_array_1d) ...原创 2021-03-17 22:30:40 · 217 阅读 · 0 评论 -
分词逆向最大匹配算法
1.顺序遍历找出最长的词,依次递推,长度作为是否切分的评判标准 应用:分词,短语匹配# coding=utf-8import numpy as npimport pandas as pdclass IMM(object): def __init__(self,vocab_txtpath): self._vocabs=[] with open(vocab_txtpath,'r') as fr: for l...原创 2021-03-17 18:40:55 · 455 阅读 · 0 评论 -
编辑距离 python实现 及 核心dp公式
编辑距离核心dp公式# coding=utf-8import numpy as npdef edit_distance(string1,string2): len1=len(string1) len2=len(string2) matrix=np.zeros(shape=[len1+1,len2+1]) for i in range(len2): matrix[0][i]=i for j in ra...原创 2021-03-17 16:55:06 · 135 阅读 · 0 评论 -
attention
1.self-attention 对序列进行embedding增强,不做维度降维2.hierarchialAttention 对维度进行降维3.BahdanauAttention 对encoder-decoder进行encoer-embedding,不做维度降维原创 2021-03-13 19:41:59 · 225 阅读 · 0 评论 -
em算法
1.通常的算法 ,n个参数,通过最后的 观测值,偏导的形式进行参数学习拟合2.有一种情况,存在 隐状态的情况下,无法直接进行拟合 ,由带有隐状态的全概率 公式可知整体概率公式取log很难直接求就利用 em算法,迭代逼近最佳值隐变量和自变量,随机自变量 初始化,根据观测值,利用极大似然求隐变量如此循环 求隐变量和自变量...原创 2021-03-13 12:40:06 · 127 阅读 · 0 评论 -
对话流的自动化设计
**设计一个预训练模型,从 催收员与用户的对话中进行学习连续对话状态; 学习生成下一句,从句子级别进行分类或者生成**下游任务,学习 对话流的状态转移,语义embedding作为节点,进行随机游走...原创 2021-03-13 10:52:17 · 155 阅读 · 0 评论 -
文本生成技术总结
decoder本质是一个lm问题常用框架:encoder+decoder, 技术: seq2seq+attention-mechasimencoder处理trick:增加feature输入维度要远好于语料累加; feature维度:tfidf,ner,posdecoder:利用 encoder-sequence+encoder-word-attention+encoder-sentence+attentionoov问题解决:lvt,利用decoder时候门口机制,generator/po..原创 2020-10-03 16:05:50 · 542 阅读 · 0 评论 -
transformer复现
"""原始 embedding,添加 position-embedding,multihead-attention: embedding->ff(q,k,v)-->split+concat-->mask--> attention-->scaled-dot-product-->softmax(qk)--> softmax(qk)*value-->residual,input+output-->layer-normalizationfea...原创 2020-06-27 12:27:54 · 682 阅读 · 0 评论 -
统计
样本 总体sample populationsample足够大,代表整体sample次数足够多,代表均值 期望 对应 加权平均 mean ,averrage 平均值,算术平均sample 代表 整体的可信度,引入置信度dispersion 离中趋势, 方差sample 取样数量多 ,接近于整体,趋向于中心轴样本离散在概率预测中代表什么概率预测在不同样本中 起伏大,说明不稳定,方差大,说明置信度低标准差,方差在概率预测中, 误差和标准差的关系?...原创 2020-06-05 00:16:54 · 442 阅读 · 0 评论 -
paper 记录
1.Hierarchical Attention Networks for Document Classificationword encode char encode =>sentence encode ==>attented-sentence encode=>document encode==>softmax原创 2020-02-23 23:00:03 · 475 阅读 · 0 评论 -
neural network
1.self-attention 理解:最终是要输出,假设按照输入长度输出,就要在每个位置有对所有输入有个softmax-weigth的累加。 softmax-weight 来自于 输入embedding 做k,输入embedding做v,矩阵转置相乘得到一个相同尺寸的矩阵,含义是每个位置上,所有位置对此位置的权重值,sofamax后即得到0-1之间的权重值w。然后 讲原始e...原创 2020-02-23 22:59:49 · 278 阅读 · 0 评论 -
python 用法总结
class AttributeDict(dict): """Example of overloading __getatr__ and __setattr__ This example creates a dictionary where members can be accessed as attributes """ def __ini...原创 2020-02-09 22:36:35 · 124 阅读 · 0 评论 -
bert
pretrain: nsp任务,调用 cls 进行训练优化 mask任务,调用sequence_embedding进行训练优化bert+dynamic_rnn-states+fcfc->[residual_layers,fc]bert transformer+fc->重新训练 为想输出的向量维度。bert+submodel 架...原创 2020-02-04 16:36:04 · 267 阅读 · 0 评论 -
美团技术年货-算法篇-笔记
pretrain基于rnn elmo基于transformer gpt bertdownstream-task 分类 序列标注 句间关系判断 阅读理解nsp 任务对pretrain并没有太大的影响美团pretrain的优化:1.混合精度 fp16,fp32 训练加速2.美团业务预料加入预训练,领域迁移3.知识图谱加入,实体词,让mask 时候根据词为单位...原创 2020-02-01 18:28:25 · 436 阅读 · 0 评论 -
隐马尔科夫
https://www.jiqizhixin.com/articles/2019-04-19-20马尔科夫只有 状态转移,状态转移概率,初始状态概率隐马尔科夫有 状态,状态转移概率,初始状态概率,状态输出概率分布,输出字符集合hmm常有3个问题:给定一个序列O,求发生概率; 给定一个序列O,优化使得它的概率最大;求一个hmm的最大输出序列;求最大输出序列,即用到了viterb...原创 2019-04-20 11:18:58 · 116 阅读 · 0 评论 -
知识图谱-关系挖掘
关系挖掘关系抽取的方法 定义一种关系,根据关系去挖掘所有相关ner 根据挖掘出的三元组的ner,去发现更多的关系关系抽取的具体方法关系抽取主要面了准确率不高的问题的克服,噪音太大,即根据一种关系推实体,再根据实体推关系,噪音太大。 解决办法根据一种关系挖掘的ner,并不能直接组成三元组,而是待召回三元组,三元组的确认,需要多维度的关系来确认。所以任何两个三元组对应的实...原创 2019-03-30 23:56:51 · 2984 阅读 · 0 评论 -
NLP-词的典型性-词的共现
词共现挖掘词内部的共现信息细分 1.挖掘 词跟所属概念之间的共现 2.挖掘词跟此之间的共现统计维度 1.词跟所有所属概念之间的共现频率关系,得出一词多义中的‘义’的分布概率 2. 同一概念下,所有词跟此概念的共现频率统计,得出概念下的代表词应用关系提取时候,可以将词进行mask,如果涉及到一次多义,可以根据共现词进行正确的mask...原创 2019-03-30 23:39:13 · 3747 阅读 · 0 评论