公众号关注 “GitHubDaily”
设为 “星标”,每天带你逛 GitHub!
转自量子位,作者乾明
收录 5.5 万首唐诗,超过 28 万首宋词,还囊括了诗经、论语、蒙学等……
这个名为 “chinese-poetry”、号称 “最全中文诗歌古典文集数据库” 的项目,今日登顶 GitHub 热榜第一。
截止发稿,这一项目已获得近 2.5 万标星,Fork 超过 4600,受欢迎度可见一斑。
项目发起者名为 Jackey,在 Teambition 从事运维自动化工作。他解释了为什么要做这个仓库:
从某种意义上来说,这些庞大的文集离我们是有一定距离的。而电子版方便拷贝,所以此开源数据库诞生了。此数据库通过 JSON 格式分发,可以让你很方便的开始你的项目。
10 大数据集
整个项目最核心的内容,就是数据集了。
目前,仓库中一共有 10 个数据集,分别是:全唐诗、全宋诗、全宋词、五代・花间集、五代・南唐二主词、论语、诗经、幽梦影、四书五经、蒙学。
这些数据,都来自互联网。如何采集的?项目发起者也分享了全宋词爬取过程及数据分析。
为什么没有古诗?他也给出了解释,古诗采集没有记录过程,因为古诗数据庞大,目标网站有限制,采集过程经常中断超过了一个星期。
围绕着数据库,他也进行了一个初步的词频分析:
但这些数据集的应用,远远不止于此。
8 大案例展示
在项目中,作者也放上了使用数据集的应用案例。
有基于浏览器的诗词网站,有安卓版的应用 “离线全唐诗”,有简体唐诗生成 (char-RNN),也诗词桌面和相关小程序等等。
而且这些项目,也大都在 GitHub 上开源了。
如果你有兴趣,可以收好传送门:
https://github.com/chinese-poetry/chinese-poetry
推荐阅读:
Python 趣味打怪:147 段简单代码助你从入门到大师
大幅提高开发效率的 9 款工具
动画: 一个浏览器是如何工作的?
表弟的数学题,我竟然用了 Python 才解出来
这款开源的 Markdown 编辑器,我爱了!