![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
nlp算法
沐自礼
熟悉语言:c/c++,java,python
展开
-
NLP算法之一(LDA理论和实际部分_ _邮件数据处理)
正经的理理解LDA,分为下述5个步骤:一个函数:gamma函数四个分布:二项分布、多项分布、beta分布、Dirichlet分布一个概念和一个理理念:共轭先验和⻉贝叶斯框架两个模型:pLSA、LDA一个采样:Gibbs采样例子的数据信息格式:例子:读大量的邮件信息,选出有用的信息。import numpy as npimport panda原创 2017-04-28 10:53:09 · 1143 阅读 · 0 评论 -
crf的意义
转载地址:http://blog.csdn.net/xueyingxue001/article/details/51499087学习方法 条件随机场模型实际上是定义在时序数据上的对数线性模型,其学习方法包括极大似然估计和正则化的极大似然估计。 具体的优化实现算法有改进的迭代尺度法IIS、梯度下降法以及拟牛顿法。 改进的转载 2017-09-03 19:43:04 · 983 阅读 · 0 评论 -
textcnn自己的理解
import tensorflow as tfimport numpy as npclass TextCNN(object): """ A CNN for text classification. Uses an embedding layer, followed by a convolutional, max-pooling and softmax layer....原创 2017-08-15 16:38:07 · 2538 阅读 · 0 评论 -
RNN,LSTM手写数组的识别,saver保存以及加载。
(一)环境搭建:Python3.5,TensorFlow1.0或者1.2,(二)实验描述:利用TensorFlow中的rnn和lstm库对手写数字图像分类。手写数字数据,如果本地没有,代码会自动连网下载(40m左右)利用saver进行保存,首先需要在代码的同级目录下创建net文件夹(三)结果展示:(四) 代码:# coding: utf-8# In[1]:原创 2017-05-22 20:07:15 · 1632 阅读 · 0 评论 -
深度学习---情感分析(Rnn,LSTM)
借鉴了苏建林大神的博客关于情感分析的三篇文章。并在此基础上 新加了停用词。停用词的下载链接:停用词代码环境:python2.7tensorflow-gpu 1.0jieba试验后的准确率高达98%,结果如下:代码如下:# -*- coding:utf-8 -*-'''在GTX1070上,11s一轮经过30轮迭代,训练集准确率为98.41%Dropout原创 2017-05-31 17:57:08 · 8337 阅读 · 3 评论 -
NLP算法之一(朴素贝叶斯实际部分,语言分类器)
朴素贝叶斯完成语种检测文本信息: 五个方法:1,粗暴的词去重2,文本处理,生成我们想要的样本,划分训练集和测试集,统计词频,词频降序排列。3,选取特征词。除去停止词,数字等。4,文本特征。5,将分好的文本,用贝叶斯分类器分类,输出准确率。 程序的流程。1, 预处理。2, 生成停止词。3, 文本特征提取和分类。4, 评价im原创 2017-04-27 15:38:17 · 639 阅读 · 0 评论 -
NLP算法之一(朴素贝叶斯实际部分,新闻分类器)
对算法每个部分都具体的实现,调用的第三方库相对较少。进行 新闻的文本分类Stopword(停止词)数据样式: 五个方法:1,粗暴的词去重2,文本处理,生成我们想要的样本,划分训练集和测试集,统计词频,词频降序排列。3,选取特征词。除去停止词,数字等。4,文本特征。5,将分好的文本,用贝叶斯分类器分类,输出准确率。原创 2017-04-27 15:24:41 · 690 阅读 · 0 评论 -
NLP算法之一(朴素贝叶斯理论部分)
一、贝叶斯公式贝叶斯公式就一行:P(Y|X)=P(X|Y)P(Y)P(X)而它其实是由以下的联合概率公式推导出来:P(Y,X)=P(Y|X)P(X)=P(X|Y)P(Y)其中P(Y)叫做先验概率,P(Y|X)叫做后验概率,P(Y,X)叫做联合概率。没了,贝叶斯最核心的公式就这么些。二、机器学习的视角理解贝叶斯公式X理解成“具有某特征”,把Y理解成“类别标签”(一般机原创 2017-04-27 15:01:11 · 737 阅读 · 0 评论 -
TensorFlow实现word2vec 详细代码解释
参考1:http://blog.csdn.net/mylove0414/article/details/69789203参考2:《TensorFlow实战》参考3:http://www.jianshu.com/p/f682066f0586代码配合参考3的图形说明,可以更容易理解。本例子,打算实现中文的word2vec,但最后显示都是一群乱码,对应的中文代码,也没有更改。如果有人找到了解原创 2017-05-09 18:58:36 · 11291 阅读 · 1 评论 -
维特比算法个人理解
原创 2017-08-27 10:23:21 · 379 阅读 · 0 评论