好的，下面是一个简单的例子，使用Python的sklearn库来对中文文本进行Kmeans聚类并可视化。
首先，我们需要准备一些中文文本数据。这里我们使用一个包含多篇新闻的文本数据集，可以从这里下载：https://github.com/crownpku/Information-Retrieval-Course/tree/master/data
接下来，我们需要对文本进行预处理，包括中文分词、去除停用词、提取文本特征等。这里我们使用jieba和sklearn库来完成这些任务。
```python
import jieba
import jieba.analyse
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.cluster import KMeans
import matplotlib.pyplot as plt
# 加载文本数据
def load_data(file_path):
data = []
with open(file_path, 'r', encoding='utf-8') as f:
for line in f:
data.append(line.strip())
return data
# 中文分词
def chinese_word_cut(text):
return " ".join(jieba.cut(text))
# 停用词列表
def get_stop_words(file_path):
stop_words = []
with open(file_path, 'r', encoding='utf-8') as f:
for line in f:
stop_words.append(line.strip())
return stop_words
# 提取文本特征
def get_tfidf_features(data, stop_words):
tfidf_vectorizer = TfidfVectorizer(stop_words=stop_words, max_df=0.95, min_df=2, tokenizer=chinese_word_cut)
tfidf_matrix = tfidf_vectorizer.fit_transform(data)
return tfidf_matrix, tfidf_vectorizer
# Kmeans聚类
def kmeans_cluster(tfidf_matrix, n_clusters):
km_cluster = KMeans(n_clusters=n_clusters, max_iter=300, n_init=40, init='k-means++',n_jobs=-1)
km_cluster.fit(tfidf_matrix)
return km_cluster
# 可视化聚类结果
def plot_cluster(tfidf_matrix, km_cluster, n_clusters):
plt.rcParams['font.sans-serif'] = ['SimHei'] # 中文显示
plt.rcParams['axes.unicode_minus'] = False # 解决负号显示问题
fig, ax = plt.subplots(figsize=(10, 6))
colors = ['r', 'g', 'b', 'c', 'm', 'y', 'k', 'w']
for i in range(n_clusters):
cluster = tfidf_matrix[km_cluster.labels_ == i].toarray()
ax.scatter(cluster[:, 0], cluster[:, 1], s=30, c=colors[i % len(colors)], label='Cluster %d' % i)
ax.legend()
ax.grid(True)
ax.set_xlabel('Feature 1')
ax.set_ylabel('Feature 2')
ax.set_title('Kmeans Clustering')
plt.show()
if __name__ == '__main__':
# 加载文本数据
data = load_data('news.txt')
# 中文分词
data_cut = list(map(chinese_word_cut, data))
# 加载停用词列表
stop_words = get_stop_words('stop_words.txt')
# 提取文本特征
tfidf_matrix, tfidf_vectorizer = get_tfidf_features(data_cut, stop_words)
# Kmeans聚类
n_clusters = 3
km_cluster = kmeans_cluster(tfidf_matrix, n_clusters)
# 可视化聚类结果
plot_cluster(tfidf_matrix, km_cluster, n_clusters)
```
运行完上述代码后，我们可以得到一个可视化的聚类结果，如下图所示：
超级会员免费看
本文介绍了如何利用BERTopic模型对中文文本进行主题聚类和可视化。首先，简述了BERTopic的基本原理和模型加载，接着展示了数据处理、文本嵌入和模型构建的过程。实验中，对京东评论数据集进行处理，通过模型得到主题数量，并对主题分布进行了详细展示，包括词概率分布、聚类可视化和主题相似度等。最后，强调了BERTopic在自动识别文本主题方面的优势。
订阅专栏 解锁全文
扫一扫
946
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
