阅读
文章平均质量分 67
乱七八糟
谁怕平生太急
110010
展开
-
NLP模型评价
原文:https://homes.cs.washington.edu/~marcotcr/acl20_checklist.pdf译文:https://blog.csdn.net/qq_37236745/article/details/107251063评论:https://zhuanlan.zhihu.com/p/159035275评论:https://zhuanlan.zhihu.com/p/158500675Github:https://github.com/marcotcr/CheckList原创 2021-05-07 16:52:41 · 672 阅读 · 0 评论 -
NLP基本任务
NLP基本任务智能问答多跳问答(1) https://www.cnblogs.com/conghuang/p/11827142.htmlgithub:https://github.com/THUDM/CogQA论文:https://zhuanlan.zhihu.com/p/72981392Q:谁是某部在2003年取景于洛杉矶quality cafe的电影的导演?系统一:在文中抽取与问题相关的实体名称并扩展节点和汇总语义向量快速将注意力定位到相关实体 BERT系统二:利用图神经网络在认知图原创 2021-05-07 16:50:29 · 403 阅读 · 0 评论 -
产业AI公司的简单调研
公司名业务范围代表产品员工人数融资情况/创立时间地点ACTICO金融、信贷ACTICO平台51-200人-芝加哥,新加坡,德国Beyond Limits能源、医疗保健、金融物流解决方案51-200人B轮 2千万美元(2017.6)加州Blackswan Technologies顾客洞察,金融欺诈ELEMENT(企业AI操作系统)51-200人2016年加州Cognite旅游业、教育和法律市场解决方案11-50人-伦敦...原创 2021-02-23 11:04:33 · 289 阅读 · 0 评论 -
百度UNIT和Rasa相关的一些资料
最新综述:对话系统之用户模拟器Rasa任务导向型对话系统——对话管理模型研究最新进展UNIT对话系统的名词解释Query:用户的话Intent:用户意图Slot:说话内容包含的关键信息机器人:在完整对话环境下的对话理解与交互能力技能:在特定对话环境下的对话理解与交互能力,比如天气技能,火车票技能意图:对话中用户想要表达的目的,比如火车票中的订票词槽:影响理解,且会影响结果的关键信息,比如订票中的出发地特征词:影响理解,但不影响结果的关键信息,比如我问问请一天假的流程中的“问问”词典:原创 2021-02-23 10:34:34 · 280 阅读 · 0 评论 -
几种预训练模型:bert-wwm,RoBERTa,RoBERTa-wwm
bert-large:24层,330M参数bert-base:12层,110M参数1.bert-wwmwwm即whole word masking(对全词进行mask),谷歌2019年5月31日发布,对bert的升级,主要更改了原预训练阶段的训练样本生成策略。改进:用mask标签替换一个完整的词而不是字。2.bert-wwm-extbert-wwm的升级版,改进:增加了训练数据集同时也增加了训练步数。3.RoBERTa相对于Bert的改进:更多的数据、更多的训练步数、更大的批次(8000),用原创 2020-12-23 14:21:04 · 8293 阅读 · 2 评论 -
EM算法-理解
最大似然估计与EM算法如何感性地理解EM算法思想精髓: 先随机初始化一个P1和P2,用它来估计z,然后基于z,还是按照最大似然概率法则去估计新的P1和P2,如果新的P1和P2和我们初始化的P1和P2一样,请问这说明了什么?(此处思考1分钟)这说明我们初始化的P1和P2是一个相当靠谱的估计!换句话说:我们初始化的P1和P2,按照最大似然概率就可以估计出z,然后基于z,按照最大似然概率可以反过来估计出P1和P2,当与我们初始化的P1和P2一样时,说明是P1和P2很有可能就是真实的值。这里面包含了两个交互原创 2020-12-23 14:17:18 · 109 阅读 · 0 评论 -
搜索技术相关的技术框架(部分)
1 特定站点搜索和通用搜索的对比搜索用户天生的“懒惰”、表达含糊以及对搜索结果智能的期待从未改变过。用户对于全网通用搜索和站内搜索的期望差别仅在于搜索范围从全网变为特定站点。而由于用户对他所喜爱的站点的了解、熟悉程度远远超出其对全网的了解,所以用户对搜索服务所存在的各种问题更为敏感,从而有更高的要求。1.1 搜索引擎和全文检索的区别搜索引擎的门槛主要是技术门槛,包括网页数据的快速采集、海...原创 2020-03-12 17:20:39 · 877 阅读 · 0 评论 -
AliCoCo的粗浅理解(一)
近来阅读了一篇阿里电商知识图谱核心技术揭秘,深感大厂的技术先进性,阅读后有如下粗浅总结。阿里电商知识图谱AliCoCo首先,AliCoCo提出了自己的本体体系,或者说构建思路。分为四层:电商概念层,原子概念层,分类体系,和商品层。由下到上的解释是:商品层就是包罗万千的商品。分类体系就是指对这些商品和非商品的多级树形结构的分类,其中一级分类有20个,包括我们经常接触到的 “时间”,“地点”,“动作”,“IP”,也有很少接触到的“品类”,“图案”,“功能”,“口味”等。你或许会疑问,为啥一级分类既有商原创 2020-10-14 11:33:53 · 1034 阅读 · 0 评论 -
事件抽取与金融事件图谱构建 陈玉博 2018. 分享记录
学习视频来源####其他学习笔记介绍信息抽取技术:实体抽取、消歧、关系抽取、事件抽取事件抽取:现有kg主要以实体为核心,缺少事件知识事件和事物是n对n关系,人们以事件为单位来认知世界事件抽取与事件图谱的意义:丰富现有的知识图谱,支撑其他信息获取引擎语义搜索、事件监控、检测相关事件(孟晚舟、华为5G、外交部发言相关)、预警风险事件(关联交易、黑铁事件)、梳理历史事件(事件长链条)代表...原创 2020-03-17 11:12:26 · 1707 阅读 · 0 评论 -
事件抽取---2020.3 收集
Exploring pre-trained language models for event extraction and generationACL2019解决在事件抽取任务训练数据的不足。论文阅读笔记Document-level Framework for Chinese Financial Event ExtractEMNLP2019 金融领域文档级别事件抽取将文档级别的事件表...原创 2020-03-16 15:42:36 · 804 阅读 · 0 评论 -
什么是常识
从一个简单的问题引出,什么是知识,知识有哪些类?百度百科的解释知识也是人类在实践中认识客观世界(包括人类自身)的成果,它包括事实、信息的描述或在教育和实践中获得的技能。知识是人类从各个途径中获得的经过提升总结与凝练的系统的认识。从类型学看,知识可分为简单知识和复杂知识、独有知识和共有知识、具体知识和抽象知识、显性知识和隐性知识等。(隐形知识:难以表达的技能类知识,包括洞察力等的认识类知识...原创 2020-01-10 00:20:26 · 893 阅读 · 0 评论 -
简单了解专家系统
1 专家系统定义知识工程之父费根鲍姆定义为:一种智能的计算机程序。这种程序使用知识与推理过程,求解那些需要杰出人物的专门知识才能求解的复杂问题。一般认为,专家系统就是应用于某一个专门领域 ,由知识工程师通过知识获取手段,将领域专家解决特定领域的知识,采用某种知识表示方法编辑或自动生成某种特定表示形式存放在知识库中;然后用户通过人机接口输入信息、数据或命令,运用推理机构控制知识库及整个系统,能...原创 2020-01-02 16:27:08 · 5733 阅读 · 0 评论 -
事理图谱资料小结1.0
事理图谱资料小结1.0有关论文和博客研究综述|事件抽取及推理(下)GGNN: GATED GRAPH SEQUENCE NEURAL NETWORKSEvent2Mind: Commonsense Inference on Events, Intents, and ReactionsIntegrating Order Information and Event Relation for...原创 2019-12-13 18:11:44 · 559 阅读 · 0 评论 -
领域知识图谱难点统计
对于领域知识图谱的构建,通常的几个步骤如下:知识建模、存储、抽取、融合、计算和应用。对应到每一个过程的难点有1)知识建模建立知识图谱的概念模式的过程,相当于关系数据库的表结构定义。a. 概念划分的合理性,如何描述知识体系及知识点之间的关联关系b. 属性定义方式,如何在冗余程度最低的条件下满足应用和可视化展现c. 事件、时序等复杂知识表示,通过匿名节点的方法还是边属性的方法来进行描述,...原创 2019-10-09 22:22:41 · 2327 阅读 · 0 评论 -
知识图谱 --- 面向非结构化数据的知识抽取 No.2 关系抽取
1 基于模板的关系抽取方法2 基于监督学习的关系抽取方法2.3 优缺点优点准确率高,标注数据越多越准确缺点标注数据成本太高不能扩展新的关系基于弱监督学习的关系抽取方法远程监督方法Bootstrapping方法...原创 2019-09-01 19:45:42 · 4678 阅读 · 0 评论 -
Neo4j --- 高效率的图遍历操作
为什么图数据库搜索关系速度会很快?1 Neo4j存储设计存储管理层的任务是 将属性图编码表示为在磁盘上存储的数据格式.虽然不同图数据库的具体存储方案各有差异, 但一般认为具有 "无索引邻接" 特性的图数据库才称为 原生图数据库.1.1 无索引邻接对于实现了"无索引邻接"的图数据库中, 每个节点 维护着 指向其邻接节点的 直接引用.==> 这相当于每个节点都可看作是...原创 2019-08-31 22:24:37 · 2647 阅读 · 0 评论 -
Neo4j --- windows系统安装和使用
1 安装前提jdk 1.8以上 neo4j windows社区版 下载地址https://neo4j.com/download/other-releases/选择windows社区2 windows配置配置系统环境变量更改服务器验证 修改neo4j.conf配置文件(在XX\neo4j-community-3.4.1\conf),取消验证机制,修改如下:dbms....原创 2019-08-31 00:15:37 · 464 阅读 · 0 评论 -
Neo4j --- 生成数据的3种方式
1.通过create实体和关系的方式这种方式可以在web、neo4j-shell中进行2.通过apoc.generate.ba的方式这种方式可以在web端进行3.下载三元组转换成node.csv,relationship.csv,通过neo4j-admin import的方式批量导入到neo4j中...原创 2019-08-28 19:28:13 · 1245 阅读 · 0 评论 -
cs224w-第1课:介绍图的结构
网络是描述交互实体的复杂系统的通用语言。主要有两类网络:(1)自然网络:由70+亿人组成的社会;由电子设备组成的通信系统;基因/蛋白质调节生命的相互作用;思绪下隐藏着的亿万级神经元联系…(2)信息网络信息/知识被组织和链接场景图:场景中的对象如何关联相似网络:获取连接相似点的数据有时候,这两种网络的区别是模糊的。不同类型的网络:问题来了:这些系统如何组织?它们的特性...原创 2019-12-26 11:27:54 · 2679 阅读 · 0 评论 -
cs224w-第3课:Motifs and Structral Rules in Network
子图/子网:能够表征和区分网络。比如节点数为3的有向图种类:Networks from the same domain have similar significance profiles。来自相同域的网络有相似的重要性配置文件Defining Motifs and graphlets 定义图案和图形Discovering structural roles and its applica...原创 2019-12-24 21:12:43 · 1140 阅读 · 0 评论 -
cs224w-第2课:网络属性和随机图模型 之 随机图模型
1 最简单的图模型Erdos-Renyi提出的随机图 random graphs,有两种形式Gnp和GnmG_{np}和G_{nm}Gnp和Gnm,在此只讨论 GnpG_{np}Gnp 形式的图模型。GnpG_{np}Gnp:由 nnn 个节点,节点之间以概率 ppp 生成关系的随机图。举个例子:它的属性值计算结果如下:属性计算公式Degree distri...原创 2019-12-19 19:52:25 · 663 阅读 · 1 评论 -
cs224w-第2课:网络属性和随机图模型 之 真实世界的网络属性
上一篇博客中提到了网络属性的定义和计算方式,这一篇我们根据定义计算出真实世界的网络属性值(以MSN为例)。1. MSN Messenger 1个月的活动数据数据量行为245M用户登录180M用户参与对话>1.3B对话次数>255B对话信息条数其中: M 代表 百万次,B 代表 十亿次以用户之间至少有一条信息交换构图,可得一幅有1...原创 2019-12-19 13:30:39 · 704 阅读 · 0 评论 -
cs224w-第2课:网络属性和随机图模型 之 网络属性的定义和计算方式
properties of network and random graph models1 网络属性属性数学表示计算公式Degree distributionP(k)P(k)P(k)P(k)=Nk/NP(k)=N_k/NP(k)=Nk/NPath lengthhhhClustering coefficientCCCConnected co...原创 2019-12-19 12:44:36 · 690 阅读 · 0 评论 -
推荐系统和搜索引擎的比较
比较推荐系统搜索引擎获取信息的方式不同被动;模糊主动;明确个性化程度高低服务特性持续服务 (“好”的推荐系统往往让用户停留更多的时间,带来的增量点击,推荐成功数,成交转化提升量等)快速满足*(“好”的搜索算法是需要让用户获取信息的效率更高、停留时间更短。)*特点(用户存在大量的需求是比较难用精炼的文字组织的:一方面用户不愿意,另一方面搜索对语义...原创 2020-03-04 11:49:58 · 1687 阅读 · 0 评论 -
图神经网络导读
人工智能的下一个拐点:图神经网络迎来快速爆发期原创 2020-01-07 09:52:03 · 392 阅读 · 0 评论 -
Bert---ELMo、GPT
接上一篇:结合上下文的 word embedding — ELMo首先通过 pre-train 学习 一个语言模型(前面的预测后面的:我要去北京玩,用“我要去”预测“北京”…),多层双向LSTM编码,上下文的每个词都可以得到 2*n个向量(n是层数)ELMo 是一种特征提取的方法:通过pre-train的方法学习了 一个双向的语言模型,来了一个句子,就可以把它变成序列的向量,而且这个...原创 2019-09-19 00:04:55 · 398 阅读 · 0 评论 -
Bert---进一步理解transformer结构
0 接上一篇Transformer结构https://blog.csdn.net/jinselizhi/article/details/100716623输入两个词,通过wordembedding变成向量,然后通过self-attention变成考虑上下文的向量。然后再接全连接层、接着是第二个encoder。这里的self-attention画的一个大的框:计算z1 是要依赖于整个x1、...原创 2019-09-15 22:55:20 · 1164 阅读 · 0 评论 -
机器学习---基本概念
1 机器学习分为:监督学习,非监督学习区别:数据有没有标签。监督学习 : D =(X,y)X 代表样本的特征。特征:用一些信息来表达样本y 代表标签,如文本主题,情感类别等任务: 学习出 X -> y 的关系。模型选择依据, 关系线性与否等等很多问题都属于监督学习的范畴。 也是主要学习的重点。无监督学习: D = (X)任务: 寻找 X 中的特征或者规律。大量的样本,通过...原创 2019-09-12 01:03:06 · 170 阅读 · 0 评论 -
AI---是什么?可以做什么?
1 AI的项目简单介绍图像识别描述:给定图片,识别图片中有什么?算法:KNN、CNN…情感分析描述:判断文本包含的情感是正面、负面还是中性关键:文本如何表示成向量,文本清洗,文本预处理算法:Tf-idf、词向量,分类算法(LR、朴素贝叶斯,决策树、RNN…)金融风控描述:判断一个用户会不会发生逾期行为?关键:根据用户基本信息、行为信息来判断用户群体分析描述:...原创 2019-09-11 23:37:47 · 1349 阅读 · 0 评论 -
Bert---理解基础
Bert理解的基础(1)Word Embedding(2)RNN(3)Seq2Seq(4)TransformerWord Embedding脉络w2v:词映射到低维稠密空间,使得语义上相似的两个词在语义空间的距离也会比较近。w2v的问题: 语义是上下文相关的。 而w2v训练出来词的向量始终只有一个。RNN/LSTM/GRU 来解决。 能记住一些历史信息。再往后发展,Se...原创 2019-09-11 00:00:21 · 438 阅读 · 0 评论 -
Bert---初识
创新点:1)将双向Transformer用于语言模型,而之前的模型是从左向右输入一个文本序列,或者将left-to-right 和 right-to-left 的训练结合起来。2)介绍了一种新技术 Masked LM(MLM),在这个技术出现之前是无法进行双向语言模型训练的。实验的结果表明,双向训练的语言模型对语境的理解会比单向的语言模型更深刻。BERT 利用了 Transformer的 ...原创 2019-09-09 22:41:39 · 146 阅读 · 0 评论 -
通俗理解---Attention注意力机制
来源: 我们在看一个句子的时候,会着重看句子的主语(或者其他成分),这个时候注意力是有重点的,如何让计算机处理的时候也有这个“注意力”呢?注意力分配:在信息处理过程中,对不同的内容分配不同的注意力权重。1 Attention在哪里想知道Attention具体的机制,首先得对seq2seq有一些了解。seq2seq其实就是 编码 + 解码。编码做的事情: 对输入序列进行编码, 生成 一个中...原创 2019-09-07 13:02:50 · 2093 阅读 · 0 评论 -
通俗理解---LSTM
LSTM:RNN中一种重要的变种,应用最广泛的特征抽取模型。核心:既要考虑 “记住” 前面时刻的内容, 又要考虑不要让前面时刻的内容干扰到当前时刻的输入。以下内容由自己口水话的方式论述, 不涉及参数计算、和具体前向、反向传播算法。先贴一张内部原理图:关于这张图,见过很多遍,但是完全理解却花了不少时间。以下是我个人的一些通俗理解:LSTM建立的初衷是为了解决 对长句子记忆不到位的问题。...原创 2019-09-05 00:48:48 · 519 阅读 · 0 评论 -
算法概述---过拟合和几种解决方法
1 过拟合问题什么是过拟合?一种扭曲的曲线,不停上下波动;另一种说法,算法具有高方差,然后模型太过庞大,变量太多千方百计的拟合训练集,导致无法泛化到新的样本中。泛化: 一个假设模型应用到新样本的能力什么是欠拟合?算法没有很好地拟合训练集;另一种说法,算法具有高偏差,就好像算法有一个很强的偏见。处于两者中间:刚好合适以线性回归举例(从左到右依次是欠拟合、刚好、过拟合):过拟合...原创 2019-09-03 00:38:41 · 4851 阅读 · 0 评论 -
SemEval初识(一)
SemEval2020 日程安排SemEval2020 TaskSemEval2020-Task4-常识-验证和解释SemEval2020-Task5-基线SemEval2020-Task6-deft_corpus原创 2020-02-17 15:48:49 · 1123 阅读 · 0 评论 -
ConceptNet 5.5: An Open Multilingual Graph of General Knowledge
2017 AAAI-17论文全文demo论文代码论文和笔记原创 2020-01-16 09:57:05 · 1043 阅读 · 0 评论 -
Cosmos QA:Machine reading comprehension with contextual commonsense reasoning
2019.09 -EMNLP 2019论文评测网站介绍Cosmos QA是一个35.6K问题的大规模数据集,需要基于常识的阅读理解,被表述为多项选择题。 它着重于阅读人们日常叙事的不同线条之间的界限,询问有关事件的可能原因或影响的问题,这些事件需要推理超出上下文的确切范围。目前在此数据集上模型最高准确率为 68.4%,相对于人类表现的94%。阅读理解的相关数据集SQuAD 201...原创 2020-01-15 18:31:29 · 894 阅读 · 0 评论 -
CommonsenseQA:A question answering challenge targeting commonsense knowledge
2019.03 -NAACL 2019CommonsenseQA 任务排名结果数据众包连接及demo训练集测试集论文地址论文解读1论文解读2技术分享丨ALBERT在CommonsenseQA方向的应用任务关键CommonsenseQA任务的关键是让模型学到更多的先验知识,这样在一些给定相关文件或上下文的问题(只需要很少的背景知识)上,模型获得的先验知识越多,给出正确预测答案...原创 2020-01-15 15:47:07 · 1406 阅读 · 0 评论 -
From System 1 Deep Learning to System 2 Deep Learning
论文报告地址唐杰教授的解读Yoshua的第一个观点人的认知系统包含两个子系统:system1直觉系统,主要负责快速、无意识、非语言的认知,这是目前深度学习主要做的事情;system2是逻辑分析系统,是有意识的、带逻辑的、规划、推理以及可以语言表达的系统,这是未来深度学习需要着重考虑的。《思考,快与慢》如何用深度学习来实现system2yoshua认为,对于计算机来说,最关键的是处理...原创 2020-01-14 15:04:49 · 1515 阅读 · 0 评论 -
PIQA:Reasoning about physical commonsense in natural language
2019.11 AAAI 2020论文数据集在本文中,我们介绍了物理常识推理的任务以及相应的基准数据集“物理交互:问答”或“ PIQA”。 尽管人们发现数据集很容易(准确度达到95%),但大型的预训练模型仍然很困难(〜77%)。 我们提供有关现有模型缺乏的知识维度的分析,这为将来的研究提供了重要的机会。在孩子学习语言之前,他们开始根据周围物体的物理特性来形成类别和概念。这个模型的世界随...原创 2020-01-13 16:44:26 · 1646 阅读 · 0 评论