项目实训——语料存储的思路

目录

使用什么样的方式存储语料？

一、关键词存储

二、典籍的存储

难点：如何爬取数据？

一、粗暴对比

二、预处理关键词

---

使用什么样的方式存储语料？

初步设想是使用MongoDB来存储，一共有一个excel表(存储病理名和中医名词等有关词语的解释)和几本典籍，每个文件单独存到一个集合中。

一、关键词存储

存放中医关键词的集合中，每个关键词存放到一个文档中，此外要在文档中添加一个内嵌元素，用于存储这些关键词在书籍中出现的位置和段落标号，具体形式如：{"book_A":[sec1, sec2, ...], "book_B":[sec1, sec2, ...]}。之后为每个这个集合根据关键词名字简历索引。

二、典籍的存储

存放书籍的集合获取比较复杂，首先需要用插件进行双语比对，采用爬虫将书中的每个段落（同一个段落的中英文存到一起）存放到一个文档中。也考虑在爬取过程中将每个段落中出现的关键字爬取下来添加到list中，形式如下：[name1, name2, ...]。之后考虑为每个集合根据list建立索引。

难点：如何爬取数据？

典籍的数量在5~10本，而且格式并不规范，仅仅爬取段落并存放在数据库中并不难，问题出在要如何在爬取过程中找出每个关键词出现的段落并建立内嵌链表。

一、粗暴对比

一种粗暴简单的方法就是每次在爬取过程中和关键词一个一个比对如果比对结果符合则添加到表中，但是考虑到关键词一共有9000个，如果要一个个比对，爬取过程必定要花费大量时间。因此需要事先对关键词进行一些预处理。

二、预处理关键词

初步设想是在处理关键字的时候，进行一个分类，第一个字相同的话就为一类，将每个关键字都存到一个树结构中。根据这样的逻辑进行分类，将大大缩小比对的范围。在爬取书籍信息过程中，将第一个字进行匹配，若不同则继续，若相同则接着匹配第二个字，依此类推。

但是一共有九千个名词，而且没有几个名词是完全相同的，即使按照第一个字来比对依然需要很多时间，而如果采用拼音呢？此时思考能否将名词按照拼音首字母来排序。

三、比对文本

在比对文本时先使用插件判断是否是名词，如果是名词再进行比对。