语言模型
Ai君臣
通俗说技术AI,一针见血。AI改变世界!立志做一款让人偷懒依赖的个人定制的管家。可信可赖可知心。有志之士互勉!wx公号一休哥
展开
-
神经网络语言模型 NNLM (Keras实现)
from keras.models import Sequentialfrom keras.layers import Dense, Embedding, LSTMfrom keras.utils import np_utilsfrom keras.utils.data_utils import get_filefrom keras.preprocessing import sequencefrom keras.preprocessing.text import Tokenizerimpor.原创 2020-08-14 17:26:34 · 393 阅读 · 0 评论 -
统计语言模型示例
from collections import Counterfrom jieba import lcutfrom random import choicecorpus = '''这一生原本一个人,你坚持厮守成我们,却小小声牵着手在默认。感动的眼神说愿意,走进我的人生。进了门开了灯一家人,盼来生依然是一家人。确认过眼神,我遇上对的人。我挥剑转身,而鲜血如红唇。前朝记忆渡红尘,伤人的不是刀刃,是你转世而来的魂。青石板上的月光照进这山城,我一路的跟你轮回声,我对你用情极深。谁在用琵琶弹奏.原创 2020-08-14 17:22:06 · 231 阅读 · 0 评论 -
利用语言模型进行打分
import kenlm## 将文件导入到 kenlm 语言模型中model = kenlm.LanguageModel("/data/NLP/Language_Models/lm.bin")# 使用语言模型对句子进行打分sentence = 'you are a good man'model.score(sentence)#-20.92301368713379sentence = "I'm fine,thinks"model.score(sentence)#-21.11705589294.原创 2020-08-14 17:19:11 · 1020 阅读 · 3 评论 -
语言模型评价指标Perplexity
语言模型(Language Model,LM),给出一句话的前k个词,希望它可以预测第k+1个词是什么,即给出一个第k+1个词可能出现的概率的分布p(xk+1|x1,x2,...,xk)。在报告里听到用PPL衡量语言模型收敛情况,于是从公式角度来理解一下该指标的意义。Perplexity定义PPL是用在自然语言处理领域(NLP)中,衡量语言模型好坏的指标。它主要是根据每个词来估计一句话出现的概率,并用句子长度作normalize,公式为S代表sentence,N是句子长度,p(wi)是第转载 2020-08-13 14:27:27 · 2134 阅读 · 0 评论