皮皮blog

一个应用是自动文本摘要，即自动地把一段文字压缩为它对应的较短的文本的任务。文本摘要的主要方式分为两种，一种是抽取式（extractive），另一种是生成式（abstractive）。抽取式是根据词语重要性、句子重要性排序，抽取出重要度高的句子，从而形成摘要。主要是对文本的选择，过程相对更容易，但是对于复杂的文本时，很难仅仅通过选择文本来形成摘要，如小说。生成式则是通过自然语言处理，输出简洁、流畅、保留关键信息，更能模拟人进行摘要的过程，涉及到生成文本，过程更为复杂。

Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用attention，可谓大道至简。文章的主要目的是在减少...

主流大模型使用的Normalization主要有三类，分别是Layer Norm，RMS Norm，以及Deep Norm。小模型的正则化参考：l1l2正则和dropout正则化[LN和BN归一化 [

随着模型规模的不断扩大，微调模型的所有参数（所谓full fine-tuning）的可行性变得越来越低。以GPT-3的175B参数为例，每增加一个新领域就需要完整微调一个新模型，代价和成本很高。为解决微调大规模语言模型到不同领域和任务的挑战，已有多种方案，比如部分微调、使用adapters和prompting。

3 对于整个文本，计算所有n-gram序列的平均概率值。如果平均概率值低于某个阈值，则可以将其视为低质量内容。使用n-gram语言模型对文本进行评估，从而过滤掉低质量的内容。2 使用已经训练好的n-gram语言模型对每个n-gram序列进行评分，得到一个概率值。需要注意的是，选择合适的n值和阈值是非常重要的，需要根据具体应用场景进行调整。1 将文本分成n-gram序列，其中n是一个整数。例如，3-gram模型估计4个单词序列的概率，

ESIM，简称 “Enhanced LSTM for Natural Language Inference“，一种专为自然语言推断而生的加强版 LSTM。ESIM模型主要是用来做文本推理的，给定一个前提premise pp 推导出假设hypothesis hh，其损失函数的目标是判断pp与hh是否有关联，即是否可以由pp推导出hh，因此，该模型也可以做文本匹配，只是损失函数的目标是...

正向（前向）最大匹配与逆向（后向）最大匹配。所谓词典正向最大匹配就是将一段字符串进行分隔，其中分隔 的长度有限制，然后将分隔的子字符串与字典中的词进行匹配，如果匹配成功则进行下一轮匹配，直到所有字符串处理完毕，否则将子字符串从末尾去除一个字，再进行匹配，如此反复。示例说明示例1：对字符串：“研究生命的起源”进行分词。假定我们的字典中的相关内容如下:研究研究生...

http://blog.csdn.net/pipisorry/article/details/78677580 语言模型的评估主要measure the closeness，即生成语言和真实语言的近似度。 Classification accuracy provides additional information about the po

http://blog.csdn.net/pipisorry/article/details/52789149最大熵模型相关的基础知识[概率论：基本概念CDF、PDF ]熵定义为： [信息论：熵与互信息 ][最优化方法：拉格朗日乘数法 ][参数估计：贝叶斯思想和贝叶斯参数估计 ][参数估计：最大似然估计MLE ]皮皮blog最大熵原理和思想 ...

中文语法http://中文语法音节...词词是由语素组成的最小的造句单位。从构成方式来看，可以分成：单纯词和合成词。从词性来看，可以分成：实词和虚词。

POS词性标注解释Tag DescriptionExamplea adjective美丽b other noun-modifier大型, 西式c conjunction连词和, 虽然d adverb 很e exclamation惊叹词哎g morpheme形态素; 词素茨, 甥h prefix 阿, 伪i idiomidiom

http://blog.csdn.net/pipisorry/article/details/45311229结巴分词jieba特点    支持三种分词模式：        精确模式，试图将句子最精确地切开，适合文本分析；        全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；        搜索引擎模式，在精确模式的基础上，对长词再次切分...

http://blog.csdn.net/pipisorry/article/details/50731584观察序列生成计算观察序列的概率（Finding the probability of an observed sequence）　　给定隐马尔科夫模型，也就是在模型参数（pi, A, B)已知的情况下，我们想找到观察序列的概率。还是考虑天气这个例子，我们有一个用来描述天气及与它...

http://blog.csdn.net/pipisorry/article/details/50722376隐马尔科夫模型的三个问题例子举个常见的例子来引出下文，同时方便大家理解！比如我在不同天气状态下去做一些事情的概率不同，天气状态集合为{下雨，阴天，晴天}，事情集合为{宅着，自习，游玩}。假如我们已经有了转移概率和输出概率，即P(天气A|天气B)和P(事情a|天气A)的概率都已知...

http://blog.csdn.net/pipisorry/article/details/50722178隐马尔可夫模型Hidden Markov Models 隐马尔可夫模型（Hidden Markov Models, HMM）描述由一个隐藏的马尔可夫链随机生成的不可观测的状态序列，再由各个状态生成一个观测而产生观测随机序列的过程，属于生成模型。HMM(隐马尔可夫模型)...

http://blog.csdn.net/pipisorry/article/details/46618991生成模式（Generating Patterns）1、确定性模式（Deterministic Patterns）：确定性系统　　考虑一套交通信号灯，灯的颜色变化序列依次是红色-红色/黄色-绿色-黄色-红色。这个序列可以作为一个状态机器，交通信号灯的不同状态都紧跟着上一个状态。...

http://blog.csdn.net/pipisorry/article/details/76147604word2vec简介 深度学习在自然语言处理中第一个应用：训练词嵌入。Google 的 Tomas Mikolov 在《Efficient Estimation of Word Representation in Vector Space》和《Distributed ...

http://blog.csdn.net/pipisorry/article/details/52791036最大熵模型的学习最大熵模型具体形式的推导+参数w的学习。根据[最大熵模型The Maximum Entropy：模型]最大熵模型的形式如下：最大熵模型学习最大熵模型学习的思路学习过程的具体推导Note: 通过交换极大极小位置，即得其对偶问题...

http://blog.csdn.net/pipisorry/article/details/42976457stanford-parser的使用1、到斯坦福官方网站http://nlp.stanford.edu/software/lex-parser.shtml下载软件包，解压。2、在eclipse中新建一个java project，把解压得到根目录下的sta