NLP算法之一（朴素贝叶斯实际部分，语言分类器）

朴素贝叶斯完成语种检测

文本信息：

 

五个方法：

1，粗暴的词去重

2，文本处理，生成我们想要的样本，划分训练集和测试集，统计词频，词频降序排列。

3，选取特征词。除去停止词，数字等。

4，文本特征。

5，将分好的文本，用贝叶斯分类器分类，输出准确率。

      

程序的流程。

1， 预处理。

2， 生成停止词。

3， 文本特征提取和分类。

4， 评价

import re
from sklearn.feature_extraction.text import CountVectorizer
from sklearn.model_selection import train_test_split
from sklearn.naive_bayes import MultinomialNB

#语言分类器
class LanguageDetector():

    def __init__(self, classifier=MultinomialNB()):
        self.classifier = classifier
        self.vectorizer = CountVectorizer(ngram_range=(1,2), max_features=1000, preprocessor=self._remove_noise)

    # 我们用正则表达式，去掉噪声数据
    def _remove_noise(self, document):
        noise_pattern = re.compile("|".join(["http\S+", "\@\w+", "\#\w+"]))
        clean_text = re.sub(noise_pattern, "", document)
        return clean_text

    # 在降噪数据上抽取出来有用的特征啦，我们抽取1 - gram和2 - gram的统计特征
    def features(self, X):
        return self.vectorizer.transform(X)

    # 分类器进行训练
    def fit(self, X, y):
        self.vectorizer.fit(X)
        self.classifier.fit(self.features(X), y)
    #预测数据
    def predict(self, x):
        return self.classifier.predict(self.features([x]))

    # 看看我们的准确率如何
    def score(self, X, y):
        return self.classifier.score(self.features(X), y)
in_f = open('data.csv')
lines = in_f.readlines()
in_f.close()
dataset = [(line.strip()[:-3], line.strip()[-2:]) for line in lines]
x, y = zip(*dataset)
x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=1)

language_detector = LanguageDetector()
language_detector.fit(x_train, y_train)
print(language_detector.predict('This is an English sentence'))
print(language_detector.score(x_test, y_test))

参考寒小阳的贝叶斯课程