nlp
sdfreregtrh
这个作者很懒,什么都没留下…
展开
-
卷积神经网络CNN
卷积神经网络的作用在人工神经网络中,当网络层数增多时,网络中的权值以成倍的速度在增长。比如当输入为一个10001000图片时(假如网络总共有6层,每层100个节点)则需要的权值数为:10001000100+100100*4,这么多的权值数目严重影响了网络的训练速度,为了训练好模型同时也需要更多的训练样例,同时过于复杂的模型也易导致过拟合的发生。在上例中,主要是前面的输入层到第一层的权重参数太多...原创 2019-11-14 11:01:27 · 171 阅读 · 0 评论 -
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 - 张俊林的文章 - 知乎https://zhuanlan.zhihu.com/p/49271699原创 2019-11-07 15:30:23 · 133 阅读 · 0 评论 -
隐马尔科夫HMM应用于中文分词
下图是描述天气变化的隐马尔科夫模型如何理解将HMM应用到中文分词中的呢?也就是在知道模型(A,B,PI)(A是指状态,在这里是指Rainy,Sunny,在分词中也就是标注比如SBME;B是观测数据,在这里是指Rainy中有Walk,Shop,Clean三种观测值,Sunny中有Walk,Shop,Clean三种观测值,在分词中是指一个个的字,PI是各种参数,状态与状态之间转换的概率,以及状态出...原创 2019-07-15 21:29:05 · 364 阅读 · 0 评论 -
CRF 中文分词过程理解
主要通过看这篇文章对CRF分词才有一点理解,下面是链接http://www.52nlp.cn/%E5%88%9D%E5%AD%A6%E8%80%85%E6%8A%A5%E9%81%933-crf-%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%E8%A7%A3%E7%A0%81%E8%BF%87%E7%A8%8B%E7%90%86%E8%A7%A3CRF与HMM在分词上...原创 2019-07-17 16:19:12 · 1636 阅读 · 0 评论 -
初识RNN 循环神经网络
RNN主要解决的什么样的问题主要解决序列对序列的问题,比如中文翻译成英文,将一句话翻译成语音等类似的问题为什么传统的神经网络不能用于处理序列对序列的问题:①假如用传统神经网络翻译句子的时候,你输入一个词的时候,就会对应有一个输出,所以导致输入和输出是一样长的,这与实际的翻译情况不符②翻译的时候,只与你输入的这个词相关,与你前后的词没有任何关系,这样会失去很多的信息,比如说小明是一个财务总监,财...原创 2019-09-19 12:21:43 · 153 阅读 · 0 评论 -
LSTM(长短期记忆) Bi-LSTM(双向长短时记忆)
LSTM是RNN的变形,也就是循环神经网络的形式之一,主要解决传统RNN记忆不了太长时间数据问题(像是一个容易遗忘的老人,记不住太久远之前的信息,所以就出现了LSTM,让他只记住有用的信息)传统RNN的问题分析:比如输入文本是我今天要做红烧排骨,首先要准备排骨,然后…,最后一道美味的菜就出锅了.这个时候我们要让RNN来判断我们到底做了什么菜,RNN可能给出辣子鸡这个答案,然后就反向的去推导误差...原创 2019-09-19 16:48:28 · 25489 阅读 · 1 评论 -
机器学习的评价方法PRF
目前学界主流是使用精确率(Precision)、召回率(Recall)和 F 值(F-measure)来评价一个信息检索系统的质量的。这三个值通常放在一起进行考虑,因此也被称为PRF 评价方法。假设参考样本中存在的信息条数为 all,系统抽取出的信息条数为 get_sys,其中抽取出的正确信息的条数为 current_sys,则精确率、召回率和 F 值的计算公式分别如式(2-23)、式(2-24...原创 2019-09-19 19:38:44 · 1860 阅读 · 0 评论 -
TensorFlow中数据集的分批训练
在神经网络模型的训练中 batch,epoch,iteration各代表什么意思呢?(1)batchsize:批大小。在深度学习中,一般采用SGD训练,即每次训练在训练集中取batchsize个样本训练,所以batch就相当于分批训练;(2)iteration:1个iteration等于使用batchsize个样本训练一次;(3)epoch:1个epoch等于使用训练集中的全部样本训练一次,...原创 2019-09-24 17:32:06 · 4041 阅读 · 0 评论