liangwqi的博客

1.总体介绍了基于向量检索的框架，主要分为两大块：内容存储、内容检索2.具体介绍了内容存储部分技术细节：数据加载模块、数据切块模块、数据embbeding模块、数据存储模块及代码实现3.具体介绍了内容检索部分：向量相似度召回+基于上下文生成问题答案，实现原理和实现代码4.介绍了如何把向量检索生成封装成tool供agnet使用​项目代码：https://github.com/liangwq/Chatglm_lora_multi-gpu/tree/main/APP_example/chatglm

小样本学习难点在于：1.数据量较少，比如10-16个样本2.fintune后接后置任务模型层，参数比较多可以把这个问题看成是矩阵求解时候的，函数参数比较多、但是方程等式较少，这样求解方程组会导致方程组的解有很多种，那如何选出符合业务最优解就是个难题，如果随机的选很容易出现选出一个泛化力不够的解。针对这种问题一般的解法有三：1.增加更多的等式——>增加数据量2.增加约束条件，让函数参数减少——>引入注意力机制3.正样本数据少，但有负样本拒绝条件——>数据增强+拒绝采样历史的fintune，就相当于用足够多的样

智能问答系统是现代信息技术系统不可或缺的一个部分，然因问答系统的复杂性，智能问答系统一直未能取得很好的作用。本文将尝试从问答系统的四个方向做概要性总结。问答系统目前实现的方式主要包括：1）知识图谱问答：基于语义的方法、基于答案排序的方法2）表格问答：表格检索、答案生成3）文本问答：答案句子选择、答案生成4）社区问答：问题匹配、问题改写、问题自动生成基于语义的知识图谱问答思路...

0.图深度学习简介传统深度学习输入数据在欧拉空间是格状或者序列化的，图数据在邻居节点连接是多样的、属性也是多样的、数据是图状存储在欧拉空间数据格式是非格式化的。传统的cnn、lstm网络可否处理图数据。1.图神经网络文章从以下三大方面讲解：1）图数据特性介绍2）图神经网络介绍3）图神经网络应用1）图基本特性介绍图的度、图邻接矩阵、图拉普拉斯矩阵拉普拉斯操作图拉...

文章摘致：http://openkg.cn/tool/elasticsearch-kbqa本文档简述基于elasticsearch搭建一个简易实体搜索引擎的流程。该搜索引擎可以按照名称检索实体,实体属性,多跳检索,以及检索符合多对属性要求的实体。在功能逻辑完成后,可搭建网站将其可视化,一个演示的demo在此. 实现的代码在此1. demo功能介绍1.1 实体检索实体检索即输...

语义搜索简介目录语义搜索简介文档检索 vs. 数据检索语义模型语义数据搜索语义Web——数据Web利用链接数据进行搜索存储和索引 (Semplore)排序原则如何将排序紧密结合到基本操作中?​ 从DBpedia收集的混合的查询数据集为图结构数据(RDF)建立结构化索引使用结构索引做结构匹配​ 在多数据源,多存储库的场景下搜索联合查询...

目录  本体知识推理简介与任务分类OWL本体语言知识推理任务OWL本体推理​ 实例化(materialization)的一个例子:OWL本体推理:不一致性检测OWL本体非标准推理:计算辩解 本体推理方法与工具介绍基于Tableaux运算的方法​  Tableaux运算的正确性相关工具简介​ 基于逻辑编程改写的方法相关工具介绍​ RD...

目录 知识问答概述和相关数据集问答系统历史答题机器人测评数据集 多语种问答QALD的评测指标 WebQuestions Free917 KBQA基本概念及挑战知识问答简单流程和分类​ 基于符号表示(传统)的知识库问答​ 基于分布式表示(DL)的知识库问答​ 基本概念与术语问答质量的评估原则问答任务的复杂性问答系统的基本组件...

目录知识融合简介目标: 融合各层面的知识合并两个知识图谱（本体）来源于不同知识库的同一实体实体对齐是知识融合主要工作中文百科中等价实例概念层知识融合跨语言知识融合知识在线融合​ 各种相关名词术语知识融合 (Knowledge Fusion)本体对齐 (Ontology Alignment)本体匹配 (Ontology Matching)...

目录从一个例子开始数据来源数据描述数据导入数据查询数据更新 图数据库介绍图数据库分类 开源数据库介绍:RDF4j 、gStore等 商业数据库介绍:Virtuoso、AllegroGraph、Stardog等Virtuoso​ AllgrographStardog 原生图数据库介绍:Neo4j、OrientDB、Titan...

目录 1. 知识图谱的研究目标与意义2. 知识工程的发展历程1950-1970 时期:1970-1990 时期:1990-2000 时期:万维网 Web 1.02006 年至今:知识图谱3. 知识图谱技术3.1 知识图谱构建知识表示与建模实体识别与链接实体关系学习事件知识学习3.2 知识图谱查询和推理计算知识存储和查询知识推理3....

这部分知识涉及到知识图谱重要环节，知识抽取和知识链接，会涉及到很多算法和抽取pipline。需要较强的背景知识，本文仅把思路和算法做了概括并没详细展开讲解，需要了解相关算法细节可以谷歌。目录 知识抽取任务定义和相关比赛知识抽取技术• 实体抽取序列标注方法（HMM、CRF、LSTM+CRF）• 关系抽取 基于模板的方法优点 监督学习方法 机器学习方法...

目录面向文本的知识抽取关系抽取分类Deepdive关系抽取实战KBC系统kbc系统自动搭建框架KBC流程框架实战:抽取上市公司中的股权交易关系开放域关系抽取知识挖掘实体消歧与链接知识规则挖掘Stactical Schema Induction关联规则挖掘 (ARM)​ 统计关系学习 (SRL)基于图的方法路径排序方法知识图谱表示学...

目录 早期知识图谱表示知识分类一阶谓词逻辑 (First-Order Logic)Horn逻辑:一阶谓词逻辑的子集描述逻辑:一阶谓词逻辑的可判定子集产生式规则 (Production Rule)框架 (Framework)语义网络 (Semantic Network)基于语义网的知识表示框架RDF和RDFSOWL和OWL2 FragmentsSP...

随着计算资源的廉价和语料知识资源的积累，知识图谱在各大企业逐步开始尝试使用。本文结合王昊奋和漆桂林老师的知识图谱课件以及复旦知识工厂课件，尝试对知识图谱做个综述。目录知识图谱与语义技术概述语义网典型知识库项目简介cyc：常识库Wordnet：词性消歧词库conceptnet：常识知识库freebase：Wikidata：Dbpedia：Yago：Babe...