text-clustering

最新推荐文章于 2024-11-09 12:16:08 发布

WF19980719

最新推荐文章于 2024-11-09 12:16:08 发布

阅读量191

点赞数 5

文章标签：机器学习

本文链接：https://blog.csdn.net/wf19980719/article/details/138316280

版权

文章介绍了如何利用TheTextClusteringrepository中的工具对大量网络样本进行主题聚类，通过145个初始聚类对1500万个样本进行分配，并对主题进行教育程度评分，旨在创建适合教育环境的材料。模型如sentence-transformers可用于文本嵌入和聚类分析。

摘要由CSDN通过智能技术生成

The Text Clustering repository contains tools to easily embed and cluster texts as well as label clusters semantically

example

我们的目标是在随机的网络样本中找到主题和他们的教育分数。这些主题用于创建合成数据生成的提示，并帮助我们理解所涵盖的领域范围。最初，我们对100,000个样本进行了聚类，得到145个聚类。然后使用文本聚类的推理模式将1500万个样本分配到这些聚类中;然而，其中一半不适合任何集群，并被排除在提示创建之外。

下面的例子是来自同一集群的网络样本，确定它们有共同的主题，例如:哲学，生活方式，线性代数，生物化学，经济学
另外，确定示例中的主题是否
大致适合作为大学/学校教材，同时要注意排除任何敏感/不适当/无关的内容，
包括但不限于性，露骨暴力，广告和诈骗，以及其他非学术主题。考虑广泛的内容，包括科学，
教育，历史，文化和实际应用，并对这些主题的教育程度进行评分，从1到10,1表示非常不教育
而且不适合在教育环境中，也不适合教育程度高的环境。输出格式应该是这样的:Topic: the_topic, Educational value rating: score。

“使用三个单词(逗号分隔)
描述上述文本中的一般主题。在任何情况下都不要使用枚举。＼
示例格式:树，猫，消防员”