0 知识图谱项目框架设计
1 流程解析
- 数据库工程师的职责:目前已有的数据主要是一堆业务领域上的表格数据,存储在一系列关系型数据库上面,需要做一个模板表和相似度比对模型,填充模板表后才能进行知识图谱构建;
- NLP工程师的职责:之后分配非结构化数据让NLP工程师对文本数据进行解析,要求提取出的信息可以填充到模板表上;
- 爬虫工程师/数据处理工程师:有些字段的数据不足,爬虫工程师需要负责爬取有一些半结构化数据进行数据补充;
- 知识融合阶段主要是根据语义进行融合,需要训练一个业务领域内的封闭式词向量模型,这里属于NLP工程师的职责;
- 知识图谱工程师:知识计算阶段,这些算法要根据具体的业务场景进行定制,进而利用这些算法来实现这些业务场景下的功能,此处需要注意明确需求;
- 知识图谱工程师+NLP工程师:知识应用属于一些下游任务,它们的设计更多的是一整套系统,有时候也会是一些功能点,这一块依然需要结合具体的业务进行配置。
2 进一步思考
- 如果之前没有接触过该方面的业务,甚至不知道是使用哪些技术契合该业务系统,该怎么办?
- 如何在一个小团队中,合理分配任务,彼此进行配合和交接?
- 产品经理对该业务功能点的描述太宽泛,或者不具体,该怎么办?