自然语言处理
文章平均质量分 76
隐马尔科夫模型
与其感慨路难行,不如马上出发。
展开
-
二分类模型评估指标的计算方法与代码实现
一、定义在研究评估指标之前,先给出分类结果混淆矩阵(confusion matrix)。 预测真实正例反例正例TPFN反例FPTN1.准确率--accuracy定义:对于给定的测试数据集,分类器正确分类的样本数与总样本数之比。计算方法:原创 2017-12-22 22:28:41 · 6857 阅读 · 1 评论 -
采用张量分解的方法检测垃圾评论(YELP数据集、RESCAL张量分解)
一、任务需求论文:《Learning to Represent Review with Tensor Decomposition for Spam Detection》对于给定的YELP数据集,根据用户信息、餐馆信息、评论信息构建十一个关系矩阵,进而得到一个三维张量。采用RESCAL方法,对三维张量进行分解,获取embedding后的用户、餐馆向量表示。以用户、餐馆向量为特征,原创 2018-01-28 20:54:45 · 4060 阅读 · 8 评论 -
利用python+jieba+gensim+sklearn实现微博性别分类
一、任务需求给定一组微博用户的微博帐号、性别和微博内容文本。以微博内容文本为特征,性别为标签,用数据的70%训练SVM分类器;再对剩下的30%微博文本进行性别预测,观察结果。二、所用工具python(Anaconda):编程环境jieba:中文分词工具gensim:训练词向量工具sklearn:训练分类器工具三、实现过程1.数据准备Data_weib原创 2017-12-17 17:33:28 · 2426 阅读 · 1 评论 -
Tensorflow实现《Convolutional Neural Networks for Sentence Classification》(附github代码)
一、任务需求paper原文:Convolutional Neural Networks for Sentence Classification作者采用卷积神经网络对评论进行分类,得到正面/负面类别,是CNN在NLP领域的应用。二、所用工具python(Anaconda3)tensorflow 1.0.0Ubuntu 16.04.1 LTS三、代码框架代码地址:https://github.com/...原创 2018-04-28 23:43:46 · 1047 阅读 · 0 评论