micklongen的专栏

I. 知识图谱 应用案例 — 阿里巴巴电商知识图谱概述通用知识图谱：实体之间的客观存在的关系常识知识图谱：概念之间的常识关系什么是常识社会对同一事物普遍存在的日常和普遍共识常识关系是隐藏在背后的知识，不会明确的说出来常识让我们可以体会言外之意大多数尝试都是隐性的，这使得常识很难明确表达出来常识关系的两个极端“你说的对”VS “这还用你说”常识是通过人的行为、听、学一点一点积累起来的计算机肯定不知道的知识什么是电商常识在电商域，社会对同一事物普遍存在的日常和普遍共识

I. 知识图谱 应用案例 — 美团概述深度学习（隐性模型）特点面向一个具体任务（如下围棋、识别猫、人脸识别、语音识别等）需要海量训练数据需要强大的计算力场景示例人脸识别目前进展在一些任务上已经接近或超过人类任务范围面向具体任务，难以迁移可解释性较难解释数据量海量训练数据知识图谱（显性模型）特点可广泛用于不同任务从海量数据中进行知识学习和挖掘可理解、可解释，类似人类的思考方式场景示例语音助手目前进展在

I. 知识图谱 应用案例 — 百度百度知识图谱业务背景百度知识图谱可以说是源于搜索，服务搜索，同时随着自身技术的积累和深化，我们用知识图谱技术广泛赋能搜索之外的业务和产品线。截止目前我们在通用和行业图谱数据建设层面累积了 50 亿实体和 5500 亿事实，日均响应 400 亿次请求，知识图谱的服务规模增长了千倍。发展阶段第一阶段是 2013 年以前的 Pre-KG 阶段，这个阶段实际上也是学术界和业界知识图谱技术发展的一个初期阶段。当时我们以定制化的模式来生产结构化数据，并应用于百

F. 知识图谱 知识计算概述主要包括知识统计与图挖掘、知识推理两大部分内容知识统计与图挖掘 重点研究的是知识查询、指标统计和图挖掘;知识推理重点研究的是基于 图谱的逻辑推理算法，主要包括基于符号的推理和基于统计的推理知识计算的概念中明确了以下几个层面的问题:知识计算是针对已构建的知识图谱所存在的问题:不完备性和 存在错误信息，在此基础上通过将知识统计与图挖掘、知识推理等方法与传统应用相结合进行能力输出，为传统应用形态进行赋能，进而提高知识 的完备性和扩大知识的覆盖面。知识计算中两种具

B. 知识图谱表示与建模概述知识图谱设计的要素业务理解 30%知识图谱设计 30%算法 20%开发 20%知识图谱设计的原则业务原则：一切要从业务逻辑出发，并且通过观察知识图谱的设计也很容易推测其背后业务的逻辑，而且设计时也要想好未来业务可能的变化分析原则：我们不需要把跟关系分析无关的实体放在图谱当中；效率原则：效率原则的核心在于把知识图谱设计成小而轻的存储载体。效率原则让知识图谱尽量轻量化、并决定哪些数据放在知识图谱，哪些数据不需要放在知识图谱。冗余原则：有些重复性信息、高

B. 知识图谱 知识建模概述知识建模的过程是知识图谱构建的基 础，高质量的数据模型能避免许多不必要、重复性的知识获取工作，有效 提高知识图谱构建的效率，降低领域数据融合的成本。不同领域的知识具有不同的数据特点，可分别构建不同的本体模型。知识建模一般有自顶向下和自底向上两种途径:1.自顶向下的方法是指在构建知识图谱时首先定义数据模式即本体，一般 通过领域专家人工编制。从最顶层的概念开始定义，然后逐步细化，形成 结构良好的分类层次结构。2.自底向上的方法则相反， 首先对现有实体进行归纳组织，形成

A. 知识图谱 类型通用知识图谱基于主动学习的大规模知识图谱构建方法无标签大数据开放知识挖掘数据驱动的本体自动构建基于多源数据的知识整合关键技术开放知识挖掘基于多维数据分析和语言理解的技术自动获取知识挖掘模板，并通过不断迭代获取新模板、挖掘新知识。另一方面通过远监督的方式自动构建大规模的训练语料，为实体关系判定模型提供高质量的训练数据。知识自学习一套自顶向下和自底向上相结合的图谱构建驱动模式。自顶向下自顶向下是一直以来图谱构建的传统模式，也就是说它的 schem

K. 知识图谱 存在的挑战数据相关的挑战多源数据的歧义、噪声大多源异构数据之间的关联 性并非严格明确的其一，数据间的关联性指向类型不明确，具体表现为 关联性作用为相关关系还是因果关系，有方向性还是无方向性。其二，即 使明确关联性存在，但现有关联性的作用有多强，是单独体现还是联合其 他关系共同体现也很难明确。算法相关的挑战现有技术存在的算法挑战算法性能的挑战算法泛化能力差算法鲁棒性差算法多样化，缺乏统一的评测指标对算法可解释性的挑战基础知识库相关的挑战基础知识

J. 知识图谱 知识运维概述由于构建全量的行业知识图谱成本很高，在真实的场景落地过程中， 一般遵循小步快走、快速迭代的原则进行知识图谱的构建和逐步演化。知识运维是指在知识图谱初次构建完成之后，根据用户的使用反馈、不断出 现的同类型知识以及增加的新的知识来源进行全量行业知识图谱的演化和 完善的过程，运维过程中需要保证知识图谱的质量可控及逐步的丰富衍 化。知识图谱的运维过程是个工程化的体系，覆盖了知识图谱的从知识获 取至知识计算等的整个生命周期。知识图谱的运维包括两个方面的关注点:一个是从数据源

I. 知识图谱的应用案例电商知识图谱的构建与应用业务背景复杂购物场景：新零售、多语言、线上线下相结合电商交易逐渐转变为集B2C、B2B、跨境为一体，覆盖“实物+虚拟”商品，结合跨领域搜索发现、导购、交互多功能的新型电商交易与通用知识图谱的区别首先，电商知识图谱的核心是商品。整个商业活动中由品牌商、平台运营、消费者、国家机构、物流商等多角色参与。相对于网页来说，数据的产生、加工、使用、反馈控制得更加严格，约束性更强。其次，电商数据的结构化程度相对于通用领域来说做的更好。再次，面向不同

H. 知识问答概述问答系统四大要素问题：是问答系统的输入答案：是问答系统的输出，除了文本表示的答案，有时也需要输出一组答案、候选答案的选择、甚至是多媒体信息智能体：问答系统的执行者，需要理解问题的语义，掌握并使用知识库解答问题，并最终生成人可读的答案知识库：存储了问答系统的知识，其形态可以是文本、数据库或知识图谱知识问答的相关工作信息检索：以关键词搜索为代表，与问答系统的区别第一点：搜索一文档来承载答案，用户需要阅读搜索找到的文档来发现答案；问答直接将答案交付给用户，而且答案一

G. 语义搜索概述语义搜索基本框架语义模型数据来源包括 知识表示 和 文档表示语义搜索查询构建关键词表单自然语言形式化语言查询处理IR-style匹配和排序DB-style精确匹配KG-style匹配和推理结果展示查询可视化文档和数据展示概要查询优化隐式反馈显式反馈激励结构化的查询语言 – SPARQL语义数据搜索有效地对整个web进行精准的语义搜索面临如下挑战可扩展性：对数据Web的有效利用要求基础架构能

F. 知识图谱推理概述知识图谱推理能用来对知识图谱进行补全和质量检测等推理的方法逻辑推理：推理过程包含了严格的约束和推理过程演绎推理：是一种自上而下的逻辑推理，是指在给定的一个或多个前提的情况下，推断出一个必然成立的结论的过程算法分类肯定前件假言推理否定后件假言推理三段论归纳推理：是一种自下而上的推理，是指基于已有的部分观察得出一般结论的过程算法分类归纳泛化：基于对个体的观察而得出可能适用于整体的结论，即在整体的一些样本中得到的结论可以泛化到整体上统计推理：将

E. 知识图谱融合概述知识图谱包含：描述抽象知识的本体层：本体层用于描述特定领域中的抽象概念、属性、公理描述具体事例的实例层：用于描述具体的实体对象、实体间的关系，包含大量的事实和数据知识融合建立异构本体或异构实例之间的联系，从而使异构的知识图谱能相互沟通，实现它们之间的互操作步骤首先：分析造成本体异构和实例匹配的原因，这事解决知识融合问题的基础其次：需要明确融合针对的具体对象，建立何种功能的映射，以及映射的复杂程度，这对于选择合适的融合方法非常重要。知识融合的核心问题在于映射

D. 知识抽取与知识挖掘概述知识抽取子任务命名实体识别关系抽取事件抽取相关竞赛消息理解会议（MUC）背景：美国国防部高级研究计划局启动并资助目的是鼓励和开发更好的知识抽取方法内容：组织者向参加者提供消息文本的样例和信息抽取任务的说明：参加者开发参赛系统并提交系统的输出结果。各个系统的结果与标准结果比对后得到最终的评测结果，参与者最后在会议上交流技术和感受评测标准：召回率和精确率，以及F1值自动内容抽取（ACE）背景：美国国家标准技术研究所组织的评测会议与M

C. 知识存储基本知识数据模型RDF图（边属性）属性图：由节点集和边集组成每个节点具有唯一的id每个节点具有若干条出边每个节点具有若干条入边每个节点具有一组属性，每个属性是一个键值对每个边具有唯一的id每条边具有一个头节点每条边具有一个尾结点每条边具有一个标签，表示联系每条边具有一组属性，每个属性是一个键值对查询语言SparQL - RDF：声明式查询语言，源自SQLCypher - 属性图：声明式语言，只需要告诉司机要到哪里，具有的行车路线可由司机安排，乘客

B. 知识图谱表示与建模概述知识表示的五大用户或特点客观事物的机器标示，即知识表示首先需要定义客观实体的机器指代或指称一组本体约定和概念模型，即知识表示还需要定义用于描述客观事物的概念和类别体系支持推理的表示基础，即只是表示还需要提供机器推理的模型与方法用于高效计算的数据结构，即知识表示也是一种用于高效计算的数据结构人可理解的机器语言，即知识表示还必须接近于人的认知，是人可理解的机器语言知识表示的分类符号知识表示的特点是易于刻画显式、离散的知识，因而具有内生的可解释性连续向量表

A. 知识图谱概述概要数据源结构化数据非结构化数据多媒体数据Iot传感器众包知识图谱：从数据源，提炼、关联，会形成知识图谱知识引擎：借助神经网络、表示学习等工具/方法，会构成自己的知识引擎应用场景：语义搜索、智能问答、语言理解、媒体理解、推理引擎、决策引擎通用知识图谱和领域知识图谱的区别知识来源及规模化通用知识图谱以互联网开放数据，如Wikipedia或社区众包为主要来源，逐步扩大规模领域知识图谱以领域或社区内部的数据为主要来源，通常要求快速扩大规模

A. 知识图谱 推动条件和驱动因素推动条件计算设备及硬件的发展：GPU、FPGA、ASIC可用数据规模的提升丰富的数据资源储备奠定知识图谱工程化的知识基础数据规模攀升推动知识图谱技术的演进推动知识图谱规模化和商业化专家系统没落的另外一个原因在于难以充分发挥规模效应导致商业价 值释放困难。算法演进算法在符号主义和连结主义时代对于知识图谱的推动算法在大数据时代对于知识图谱的推动数据/知识检索需求攀升精准搜索正在成为搜索引擎的目标和挑战。精准搜索至 少包含两层涵义：