语义识别
中志融一
自强
展开
-
语义识别(一):隐性马尔可夫模型
隐性马尔可夫模型在语义识别领域有着广泛的应用,下面我整合了网络上和书上的有关资料,通俗详细的论述了隐性马尔可夫模型和Viterbi算法。隐马尔可夫模型(Hidden Markov Model,HMM)是统计模型,它用来描述一个含有隐含未知参数的马尔可夫过程。其难点是从可观察的参数中确定该过程的隐含参数。然后利用这些参数来作进一步的分析,例如模式识别。隐性马尔可夫模型在语义识别,分词模型中也有广泛的应原创 2017-10-06 11:27:19 · 9555 阅读 · 2 评论 -
基于朴素贝叶斯的文本分类
最近在学习自然语言处理,做了一个文本分类的demo,主要是基于朴素贝叶斯算法和TF-IDF方法的文本分类挖掘,下面的代码如下:# -*- coding:utf-8 -*-import numpy as npdef loadDataSet(): postingList=[['my','dog','has','flea','problems','help','please'],原创 2017-11-22 15:15:10 · 832 阅读 · 0 评论 -
TfidfVectorizer in scikit-learn : ValueError: np.nan is an invalid document
我使用scikit-learn中的TfidfVectorizer学习从文本数据中提取一些特征。我有一个带标志的CSV文件(可以是+1或-1)和一个评论(文本)。我将这些数据导入DataFrame,以便运行Vectorizer。 代码如下:import pandas as pdimport numpy as npfrom sklearn.feature_extraction.text ...原创 2018-07-07 19:05:58 · 8824 阅读 · 5 评论