lda 可以处理中文_LDA主题模型，希拉里邮件门文本分析

最新推荐文章于 2024-06-22 09:35:04 发布

weixin_39526741

最新推荐文章于 2024-06-22 09:35:04 发布

阅读量505

点赞数

文章标签： lda 可以处理中文中文 lda数据预处理

LDA是一种文档主题生成模型，包含词、主题和文档三层结构。所谓生成模型，就是说，我们认为一篇文章的每个词都是通过“以一定概率选择了某个主题，并从这个主题中以一定概率选择某个词语”这样一个过程得到。文档到主题服从多项式分布，主题到词服从多项式分布。

LDA是一种典型的词袋模型，即它认为一篇文档是由一组词构成的一个集合，词与词之间没有顺序以及先后的关系。一篇文档可以包含多个主题，文档中每一个词都由其中的一个主题生成。

LDA的核心公式如下：

P(w|d)=P(w|t)*P(t|d)

w代表单词；d代表文档；t代表主题。

下面我们进行LDA模型的实战项目，数据集是希拉里泄露的邮件，可以私信我领取数据集。

通过LDA，看看她平时都在聊什么。

首先导入各种三方库，我们需要用到gensim库，它是一款开源的第三方Python工具包，用于从原始的非结构化的文本中，无监督地学习到文本隐层的主题向量表达。

import numpy as npimport pandas as pdimport refrom gensim import corpora, models, similaritiesimport gensim

之后读取数据，数据集有20个特征，我们只取出id值和邮件内容即可：

df = pd.read_csv("HillaryEmails.csv")# 处理缺失值df = df[['Id','ExtractedBodyText']].dropna()

进行文本预处理，这一步对于nlp来说是至关重要的，邮件有许多内容对于主题模型来说没有意义，我们通过正则表达式将它们清洗掉：

# 文本预处理def clean_email_text(text):    text = text.replace(''," ") #新行，我们是不需要的    text = re.sub(r"-", " ", text) #把 "-" 的两个单词，分开。    text = re.sub(r"d+/d+/d+", "", text) #日期，对主体模型没什么意义    text = re.sub(r"[0-2]?[0-9]:[0-6][0-9]", "", text) #时间，没意义    text = re.sub(r"[w]+@[.w]+", "", text) #邮件地址，没意义    text = re.sub(r"/[a-zA-Z]*[://]*[A-Za-z0-9-_]+.+[A-Za-z0-9./%&=?-_]+/i", "", text) #网址，没意义    pure_text = ''    # 以防还有其他特殊字符(数字)等等，我们直接把他们loop一遍，过滤掉    for letter in text:        # 只留下字母和空格        if letter.isalpha() or letter==' ':            pure_text += letter    # 再把那些去除特殊字符后落单的单词，直接排除。    # 我们就只剩下有意义的单词了。    text = ' '.join(word for word in pure_text.split() if len(word)>1)    return text

新建一个colum，用刚才定义的函数跑一遍：

docs = df['ExtractedBodyText']docs = docs.apply(lambda s: clean_email_text(s))

docs是一个Series，里面的数据都是清洗之后的:

提取docs里面的内容：

doclist = docs.values

接下来，我们用Gensim来构建模型。

首先，我们得把我们刚刚整出来的一大波文本数据

[[一条邮件字符串]，[另一条邮件字符串], ...]

转化成Gensim认可的语料库形式：

[[一，条，邮件，在，这里],[第，二，条，邮件，在，这里],[今天，天气，肿么，样],...]

首先，手写停用词列表，这些词在不同语境中指代意义完全不同，但是在不同主题中的出现概率是几乎一致的。所以要去除，否则对模型的准确性有影响。

stoplist = ['very', 'ourselves', 'am', 'doesn', 'through', 'me', 'against', 'up', 'just', 'her', 'ours',             'couldn', 'because', 'is', 'isn', 'it', 'only', 'in', 'such', 'too', 'mustn', 'under', 'their',             'if', 'to', 'my', 'himself', 'after', 'why', 'while', 'can', 'each', 'itself', 'his', 'all', 'once',             'herself', 'more', 'our', 'they', 'hasn', 'on', 'ma', 'them', 'its', 'where', 'did', 'll', 'you',             'didn', 'nor', 'as', 'now', 'before', 'those', 'yours', 'from', 'who', 'was', 'm', 'been', 'will',             'into', 'same', 'how', 'some', 'of', 'out', 'with', 's', 'being', 't', 'mightn', 'she', 'again', 'be',             'by', 'shan', 'have', 'yourselves', 'needn', 'and', 'are', 'o', 'these', 'further', 'most', 'yourself',             'having', 'aren', 'here', 'he', 'were', 'but', 'this', 'myself', 'own', 'we', 'so', 'i', 'does', 'both',             'when', 'between', 'd', 'had', 'the', 'y', 'has', 'down', 'off', 'than', 'haven', 'whom', 'wouldn',             'should', 've', 'over', 'themselves', 'few', 'then', 'hadn', 'what', 'until', 'won', 'no', 'about',             'any', 'that', 'for', 'shouldn', 'don', 'do', 'there', 'doing', 'an', 'or', 'ain', 'hers', 'wasn',             'weren', 'above', 'a', 'at', 'your', 'theirs', 'below', 'other', 'not', 're', 'him', 'during', 'which']

之后进行分词，把长长的字符串原文本，转化成有意义的小元素，并且除去停用词：

# 分词texts = [[word for word in doc.lower().split() if word not in stoplist] for doc in doclist]

分词后的效果：

之后，建立语料库。第一行是词空间的生成，也就是将所有文章中的词取出来去重，剩下的词组成列表，并进行编号。第二行是针对每个文本，将词汇转为id。

# 建立语料库# 用词袋的方法，把每个单词用一个数字index指代，并把我们的原文本变成一条长长的数组dictionary = corpora.Dictionary(texts)corpus = [dictionary.doc2bow(text) for text in texts]

效果如下，(x,y)表示，这个单词是这篇文章的第x号单词，这个单词在这篇文章中出现了y次：

建立LDA模型，num_topics表示生成主题的数量：

# 建立模型lda = gensim.models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=20)

打印第10号主题：

lda.print_topic(10, topn=5)

可以看到最能代表第10号主题的5个单词是dialogue，press，strategic，dinner，wjc。

该主题可能与对话、压迫、策略、晚饭有关：

我们把所有的主题打印出来看看：

lda.print_topics(num_topics=20, num_words=5)

截图不展开了，一共生成了20个主题：

保存模型，方便以后使用：

lda.save('xlllda.model')

接下来通过lda.get_document_topics(bow)或者lda.get_term_topics(word_id)

两个方法，我们可以把新鲜的文本/单词，分类成20个主题中的一个。但是注意，我们这里的文本和单词，都必须得经过同样步骤的文本预处理+词袋化，也就是说，变成数字表示每个单词的形式。

# 加载模型lda = gensim.models.ldamodel.LdaModel.load('xlllda.model')

传入某个希拉里推特上的内容，经过同样步骤的文本预处理+词袋化，通过训练好的LDA模型，判断它属于哪个主题：

text = 'To all the little girls watching...never doubt that you are valuable and powerful & deserving of every chance & opportunity in the world.'text = clean_email_text(text)texts = [word for word in text.lower().split() if word not in stoplist]bow = dictionary.doc2bow(texts)lda.get_document_topics(bow)

它属于第10号主题的概率居然有0.9：