## 用机器学习完成语种检测

文本分类

• 预处理(清洗、分词...)

• 对文本做表示(向量化的表示) 【TF-IDF，词袋，word2vec，word embedding，ELMo...】

• 建模(机器学习、深度学习) 【朴素贝叶斯、SVM、TextCNN、TextRNN...】

朴素贝叶斯 = 贝叶斯公式 + 条件独立假设 + 平滑(拉普拉斯平滑)

我们试试用朴素贝叶斯完成一个语种检测的分类器，说起来，用朴素贝叶斯完成这个任务，其实准确度还不错。

机器学习的算法要取得好效果，离不开数据，咱们先拉点数据（twitter数据，包含English, French, German, Spanish, Italian 和 Dutch 6种语言）

数据 下载

开始：

in_f = open('data.csv')

lines = in_f.readlines()

in_f.close()

dataset = [(line.strip()[:-3], line.strip()[-2:]) for line in lines]

了解你的数据：

dataset[:5]

输出：

[('1 december wereld aids dag voorlichting in zuidafrika over bieten taboes en optimisme',

'nl'),

('1 mill\xc3\xb3n de afectados ante las inundaciones en sri lanka unicef est\xc3\xa1 distribuyendo ayuda de emergencia srilanka',

'es'),

('1 mill\xc3\xb3n de fans en facebook antes del 14 de febrero y paty miki dani y berta se tiran en paraca\xc3\xaddas qu\xc3\xa9 har\xc3\xadas t\xc3\xba porunmillondefans',

'es'),

('1 satellite galileo sottoposto ai test presso lesaestec nl galileo navigation space in inglese',

'it'),

('10 der welt sind bei', 'de')]

为了一会儿检测一下咱们的分类器效果怎么样，我们需要一份测试集。

所以把原数据集分成训练集的测试集，咱们用sklearn自带的分割函数。

from sklearn.model_selection import train_test_split

x, y = zip(*dataset)

x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=1)#random_state 随机因子

len(x_train)

输出：

6799

模型要有好效果，数据质量要保证

我们用正则表达式，去掉噪声数据

#简单 去燥 工作，正则未完善

import re

def remove_noise(document):

noise_pattern = re.compile("|".join(["http\S+", "\@\w+", "\#\w+"]))

clean_text = re.sub(noise_pattern, "", document)

return clean_text.strip()

remove_noise("Trump images are now more popular than cat gifs. @trump #trends http://www.trumptrends.html")

输出：

'Trump images are now more popular than cat gifs.'

下一步要做的就是在降噪数据上抽取出来有用的特征啦，我们抽取1-gram和2-gram的统计特征

from sklearn.feature_extraction.text import CountVectorizer

vec = CountVectorizer(

lowercase=True, # lowercase the text

analyzer='char_wb', # tokenise by character grams #char_wb 适合 间隔以空格

ngram_range=(1,2), # use ngrams of size 1 and 2

max_features=1000, # keep the most common 1000 ngrams

preprocessor=remove_noise

)

#统计

vec.fit(x_train)

#ps:究竟是什么

#print(vec.vocabulary_)

def get_features(x):

vec.transform(x)

# ps:究竟是什么

# X=vec.transform(x)

# print(X)

# print(X.toarray())

把分类器import进来并且训练

from sklearn.naive_bayes import MultinomialNB

classifier = MultinomialNB()

classifier.fit(vec.transform(x_train), y_train)

看看我们的准确率如何

classifier.score(vec.transform(x_test), y_test)

输出：

0.9770621967357741

能在1500句话上，训练得到准确率97.7%的分类器，效果还是不错的。

如果大家加大语料，准确率会非常高。

规范化，写成一个class

import re

from sklearn.feature_extraction.text import CountVectorizer

from sklearn.model_selection import train_test_split

from sklearn.naive_bayes import MultinomialNB

class LanguageDetector():

def __init__(self, classifier=MultinomialNB()):

self.classifier = classifier

self.vectorizer = CountVectorizer(ngram_range=(1,2), max_features=1000, preprocessor=self._remove_noise)

def _remove_noise(self, document):

noise_pattern = re.compile("|".join(["http\S+", "\@\w+", "\#\w+"]))

clean_text = re.sub(noise_pattern, "", document)

return clean_text

def features(self, X):

return self.vectorizer.transform(X)

def fit(self, X, y):

self.vectorizer.fit(X)

self.classifier.fit(self.features(X), y)

def predict(self, x):

return self.classifier.predict(self.features([x]))

def score(self, X, y):

return self.classifier.score(self.features(X), y)

调用：

in_f = open('data.csv')

lines = in_f.readlines()

in_f.close()

dataset = [(line.strip()[:-3], line.strip()[-2:]) for line in lines]

x, y = zip(*dataset)

x_train, x_test, y_train, y_test = train_test_split(x, y, random_state=1)

language_detector = LanguageDetector()

language_detector.fit(x_train, y_train)

print(language_detector.predict('This is an English sentence'))

print(language_detector.score(x_test, y_test))

输出：

['en']

0.977062196736

————————————————

版权声明：本文为CSDN博主「_yuki_」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/qq_19707521/article/details/79091508