这篇博客介绍了如何利用kmeans算法进行文本聚类。首先，解释了kmeans的核心思想和工作流程。接着，讨论了分词的重要性，推荐使用IKAnalyzer并优化词库以提高效果。然后，阐述了特征集的构建、特征权重的计算（采用TF-IDF），以及特征降维的方法——提取热词。最后，提供了主要代码的Github链接。
需求
拿到的需求是输入n个文本，对文本进行聚类，由于这些输入不能通过历史数据进行训练，所以这个主要就是用无监督学习来解决。
kmeans
谈到聚类就会想到kmeans，它的核心思想是给定的K值和K个初始质心将样本中每个点都分到距离最近的类簇中，当所有点分配完后根据每个类簇的所有点重新计算质心，一般是通过平均值计算，然后再将每个点分到距离最近的新类簇中，不断循环此操作，直到质心不再变化或达到一定的迭代次数。
分词
会使用一些工具进行分词，比如IKAnalyzer，同时也支持将停词去掉。
词库
刚开始分类效果不是很好，于是改进词库。对于特定行业的分词，为提高分词的准确性及专业性，可以收集更准确的词库用于分词。可以由搜狗http://pinyin.sogou.com/dict/搜索各种类别的词汇，自己下载下来再整理，它的格式为scel，可以使用深蓝词汇转换工具转成txt方便使用。
特征集
特征集的确
最低0.47元/天 解锁文章
3万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
