语义检索及场景生成关键技术

最新推荐文章于 2023-10-30 11:11:06 发布

动画生成

最新推荐文章于 2023-10-30 11:11:06 发布

阅读量215

点赞数

文章标签：人工智能

本文链接：https://blog.csdn.net/weixin_51502106/article/details/131825154

版权

1、技术

（1）自然语言处理

词法分析使用ICTCLAS，句法分析使用Stanford Parser->句法树和句法依存关系。

（2）本体知识库

本体知识库可以分为领域本体库、规则库、推理机三个功能组件。

（3）检索机制

使用LarKC平台架构允许将不同的规则进行有效融合，这些规则遵从面向服务计算方法。LarKC插件集是一个自包含，宽泛的联系与功能性共同操作的单元，面向动漫领域的语义检索应用系统结合了的识别器、转换器和查询器三大插件模板。

识别器：三元组识别器，识别一系列的RDF三元组，负责寻找将要在给定的管道中应用到的资源。信息集例如：万维网上的RDF文件、三元组库中的命名图、自然语言文件等。

转换器：面向三元组SPARQL查询的转换器，即把识别的三元组经转换器，返回一系列包含在给定输入SPARQL查询中的三元组。

推理机：自定义规则推理机，它是建立在jena的基础之上的。Jena提供了基于规则的通用推理机以及一种定义规则的语法，我们可以创建自己领域的语义规则并将它加入推理机的规则集中，这样就可以实现自定义推理。这种基于规则的通用推理机工作在RDF层次上，本身并不包含推理规则，必须自己定义规则并将其加入规则集。所以，我们采用自定义推理规则的推理方式来对其推理。自定义规则推理机有三种类型：正向链规则，反向链规则和它们两个的混合型（hybird)。的推理规则语法既支持正向规则推理也支持反向推理。

（4）查询策略——SPARQL查询引擎

通过LarKC插件的SPARQL进行查询检索，当结果不为空时，直接将结果与语义标注实例库进行匹配；当查询结果为空，通过将查询请求进行扩展，查询扩展采用自定义推理规则进行推理，然后将推理结果通过语义相关度进行选择，再返回SPARQL进行查询检索，最后将检索结果与语义标注实例库进行匹配。

（5）基于本体的查询扩展算法

（6）结果加权排序优化处理

对推理结果加权排序优化处理，采用语义相似度的值进行加权来解决（利用概念的上下位关系进行计算）。概念语义相似度计算分两部分：一部分是根据概念图中对应概念的出度（dmin，dmax）和概念名称编辑距离所计算出的相似度；另一部分是由概念的属性来计算相似度，包括概念的对象属性和数据属性。具体公式如下：

其中， α、β、θ、γ为0-1之间的一个权重参数，可以根据计算结果进行调整。s为相似度计算结果，sn为根据概念图中对应出度（dmin，dmax）和概念名称编辑距离所计算出的相似度，so为由某一个对象属性所计算出的相似度，sc为对应的对象属性的值域概念的相似度和对象属性名称编辑距离所计算出的相似度，sd为数据属性名称编辑距离所计算出大的相似度，sed（s1，s2）为根据两个字符大的编辑距离计算出来的相似度。n为概念的属性个数，n0为概念对象的属性个数，nd为概念的数据属性个数。d（s1，s2）为两政府的编辑距离，length为字符串的长度函数。

概念语义相似度：

其中，simc(c1,c2),simp(c1,c2)分别为概念的名称语义信息相似度和概念属性的语义信息相似度；a,b和为权重因子，(0<=a,b<=1)具体取值由应用确定。

（7）资源入库与语义标注

使用语义标注工具对素材库的图片手工进行语义标注，将语义信息生成RDF文档，然后将所有的RDF文件进行解析成三元组存如数据库。

2、场景生成方法

2.1 场景的定性描述

场景的两个方面的内容：背景（环境信息）内容信息和前景（人物活动的主要场所）内容信息。下面为场景定性信息的数据结构分为三部分：（1）场景属性

场景属性主要是指场景的整体信息，其中包括场景名称、场景尺寸、场景的比例。如下图为场景属性的数据结构：

（2）背景

背景信息主要包含背景地形和背景物体信息两大类。地形信息主要包括地形类型、分布区域以及显著程度。背景物体信息主要由物体的类型、物体的相关描述以及物体的分布形式构成。下图为背景的数据结构：

（3）前景

前景信息主要由前景物体和前景约束构成。前景物体主要由物体类型、物体尺寸、物体数量以及物体描述组成，而物体约束则主要由主语、约束类型以及宾语构成。下面为前景数据结构：

2.2 场景的定量描述

定量场景的生成是将定性的场景描述转变成定量的场景信息。场景的定量信息是对物体和地形的数据描述，即场景的生成具体需要哪些数据，生成定量描述的脚本。场景标签：

物体标签：

2.3 场景生成流程

（1）场景划分

场景生成根据动作Action（或事件）将整个剧本故事划分成一个一个的场景。具体方法：把使用同一场景、同一背景，角色（人物）相同，又无明显时间差别的相邻动作组合成更大的动作组；假如动作Action（或事件）有关键词，则根据关键词对其动作确定一组可能的背景，如果没有，则其背景信息暂缺；对于没有背景的动作组，如果此动作与它的上下动作有相同角色（人物），并且在时间上没有明显差异，则可以合并动作组，对于有相同基本场景、相同背景，并且角色（人物）相同动作的动作组可以合并，不同背景的动作组不能合并，有同一背景但时间上不连续的动作组也不能合并。

（2）场景生成算法

通过场景划分后，我们可以确定每个场景的背景信息，然后通过在场景库中查找符合条件的场景库信息，并根据剧本故事信息的时间空间关系信息进行适当的修改，并通过物体规则库进行物体的空间布局推理进行物体的摆放，最后可以生成相应的场景。

a.我们用数据结构ds{n,o,c}，来对剧本故事进行场景的描述，其中n为场景名，o{o1,o2,...,on}为物体（对象）信息集，c{c1,c2,...,cn}为约束信息集。
b.假如 $n\neq \phi$ ，则在场景库中查找n，如果查找成功，则返回一个场景集s{s1,s2,...,sn}。若查找失败，则s中只含一个空场景，
c.假如 $o\neq \phi$ ,我们就在s的每个场景中查找o1~on。若匹配成功，则将s中匹配失败的场景删除， $ds={n,\phi ,c }$ ;反之，我们就随机保留s中一个场景sj并且添加物体信息 $O{}''$ ，然后我们在物体规则库中查找包含 $O{}''$ 的 $c{}'$ ， $ds=\left \{ n,\phi ,c\cup c{}' \right \}$ .
d.假如 $c\neq \phi$ ,我们就在s的每个场景中查找c1~cn。若匹配成功，则将s中匹配失败的场景删除， $ds=\left \{ n,o,\phi \right \}$ ;反之，我们就随机保留s中的一个场景sj并且添加约束信息 $c{}''$ ，然后我们令 $c{}''$ 中包含的物体信息为 $o{}'$ ， $ds=\left \{ n,o\cup o{}' ,\phi \right \}$ ,返回步骤b。
e.在s中随机选择一个场景作为输出。

2.4 知识库构建

（1）场景库

场景库存储的是按相关特征分类而成的各种场景中所需要出现的物体和一些对物体的基本约束。我们用树型结构来定义场景库将其保存在一个xml文件中，我们可以根据故事剧本的描述来匹配可选的场景。

（2）规则库

当语言描述中存在场景库文件里没有的物体时，需要将其加如到场景库中，其约束有规则库确定。约束动态添加思路是通过场景已有物体信息来搜索添加物体可能的约束，然后进行选择。

（3）模型库和模型信息库

场景信息仅仅只是描述了场景中的所有物体，我们如果需要对场景中的物体模型进行查找或匹配，还需要知道每个物体模型的描述，这样我们才能知道去调用哪个物体模型。模型库存储的是所有可用的如模型文件。我们对存入模型库的模型文件进行如下处理：
a.统一坐标轴，通过将模型进行调整方向，使模型的前方向为Z轴正向，左方向为轴正向。
b.对模型进行打组处理，我们将模型的所有部件打成一个组，并且使用同一个组名，以便我们对模型文件进行统一修改。模型信息库记录了每个模型的定性和定量信息，它是建立于模型库之上的,这样，我们就可以根据场景中对于物体的描述来查找匹配到到相关的模型，并且根据场景比例计算出场景中模型的一些具体数据。其中对于地形的处理，我们也可以将其做成模型，但我们将其做成一个曲面模型，高度为0。

2.5 空间关系布局推理

空间关系包括位置、方位（朝向）和距离信息，涉及到空间推理、空间知识和几何计算等相关技术。空间推理是对空间对象间的空间关系进行定性或定量的分析和处理，并利用空间理论和人工智能技术对空间关系进行建模、描述与表示的过程。这里我们所提到的空间推理是一种简单的空间推理，它主要是指三维空间中的区域间的运算推理。空间推理是空间区域合理化，支持空间物体摆放的重要步骤和手段。

（1）空间位置关系的确定方法

位置关系的定性描述就是用方向关系和定性距离描述目标物体相对于参照物位置关系的方法。

二元组（距离关系、方向关系）形式描述空间对象位置关系：采用定性距离关系、方向关系二元组的方法，记为 $\left ( d_{AB},ori_{AB} \right )$ ，其中，A为参照物体，B为目标物体，dAB为A与B之间的定性距离，oriAB为B相对于A的方向关系。这里我们定性距离描述采用很近d0、近d1、中间d2、远d3、很远d4五个定性距离描述目标物体与参照物间的远近关系，这5个定性距离所对应的距离范围分别为五个定性距离描述（0,a0],(a0,a1],(a1,a2],(a2,a3],(a3,a4]，并且相邻定性距离范围之比为常数看k。

基于二元组描述形式的位置信息定性推理：给定物体B相对于A的距离方向关系，表示为 $\left ( d_{AB},ori_{AB} \right )$ ,以及C相对于B的距离方向关系，表示为 $\left ( d_{AB},ori_{BC}\right )$ ，要求的是C相对于A的位置信息 $\left ( d_{AC},ori_{AC} \right )$ ，推理的结果往往不是一个单一确定的值，但可以确定出一个上、下界的区间范围。

统一坐标：将距离与方向关系模型描述为统一的坐标系

位置信息的定性推理：通过参照物体推理出当前物体的坐标位置

三维区域的空间推理：相离、相交、包含、相等。

动画生成

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
语义检索及场景生成关键技术

s为相似度计算结果，sn为根据概念图中对应出度（dmin，dmax）和概念名称编辑距离所计算出的相似度，so为由某一个对象属性所计算出的相似度，sc为对应的对象属性的值域概念的相似度和对象属性名称编辑距离所计算出的相似度，sd为数据属性名称编辑距离所计算出大的相似度，sed（s1，s2）为根据两个字符大的编辑距离计算出来的相似度。场景信息仅仅只是描述了场景中的所有物体，我们如果需要对场景中的物体模型进行查找或匹配，还需要知道每个物体模型的描述，这样我们才能知道去调用哪个物体模型。
复制链接

扫一扫