探索中华古典诗意的深度学习——BERT-CCPoem

探索中华古典诗意的深度学习——BERT-CCPoem

项目简介

BERT-CCPoem 是由清华大学自然语言处理与社会人文计算研究中心研发的，一个专为中文古典诗歌设计的预训练模型。它基于BERT架构，能对近百万首古典诗词进行理解和表示，为智能化诗词检索、推荐和情感分析等任务提供了强大的工具。

技术解析

BERT-CCPoem 利用了Transformers库中的"BertModel"类进行训练。该模型以汉字为基本单元，对低频字符（频率小于3）进行了[UNK]处理，构建了11,809个字符类型的词汇表。模型参数包括8层结构，512个隐藏层节点，8个注意力头，总模型大小约为162MB。

应用场景

通过BERT-CCPoem，你可以获取任何一句古诗的向量表示，然后找到与其在语义上最相似的诗句。例如，输入"一行白鹭上青天"，模型可以返回与其相似度最高的诗句，而传统的字符串匹配方法则无法达到这样的效果。这种能力对于诗词推荐系统、诗词创作辅助工具以及文化语境的情感分析等领域有着广泛的应用潜力。

项目特点

1. 专业领域定制：BERT-CCPoem 针对中文古典诗歌进行训练，能够更准确地理解和捕捉诗词的语境和韵律。
2. 高效表示：通过向量形式表示诗句，便于计算句子之间的语义相似度。
3. 易用性：提供清晰的API接口，只需几行代码即可加载模型并生成句子向量。
4. 资源丰富：训练数据源自近百万首古典诗词，覆盖广且全面。

为了体验BERT-CCPoem的强大功能，你可以按照项目提供的示例程序直接下载并运行。只需确保你的Python环境中安装了torch版本大于等于1.2.0以及transformers版本为4.3.3。

BERT-CCPoem 的开发团队期待着你的探索与创新，如果你有任何问题或建议，请随时联系他们。让我们共同发掘中华古典诗词的深邃之美！

Acknowledging and Citing:
"We use BERT-CCPoem, a pre-trained model for Chinese classical poetry, developed by Research Center for Natural Language Processing, Computational Humanities and Social Sciences, Tsinghua University, to ……"

Contact: hujy369@gmail.com 或 gzp9595@gmail.com
GitHub: https://github.com/THUNLP-AIPoet/BERT-CCPoem