nlp语义理解
文章平均质量分 84
佟学强
联结主义学派和统计学派融合的研究者
展开
-
最短路径分词
最短路径分词 中文分词有很多方法,比如N-最短路径法,N元语言模型,CRF模型等等。大致可以分为两类:一是机械化的分词,二是用机器学习方法分词。最短路径算法可以划分到第一种。这个算法效果并不是最好的,大体和IK分词打成平手。今天用最简洁语言描述一下:这个算法主要分两步:第一,构造DAG(有向无环图),第二找出最优路径。以下图为例 "有意见分歧”进行...原创 2017-05-13 19:44:00 · 1650 阅读 · 0 评论 -
原创:语义相似度(理论篇)
原创:语义相似度(理论篇) 如果本文观点有不对的地方,欢迎指正! author:佟学强 开场白:对于事物的理解,一般分3个层次:①看山是山,看水是水②看山不是山,看水不是水③看山是山,看水是水。对AI和nlp的理解,同样会有这三个层次。比如,刚毕业的硕士或者毕业1~2年的,会热衷于研究GAN,seq2seq,甚至包括nlp刚起步的一些公司。这...原创 2017-08-24 23:11:00 · 1033 阅读 · 0 评论 -
nlp语义理解的一点儿看法
nlp语义理解的一点儿看法 nlp领域里,语义理解仍然是难题! 给你一篇文章或者一个句子,人们在理解这些句子时,头脑中会进行上下文的搜索和知识联想。通常情况下,人在理解语义时头脑中会搜寻与之相关的知识。知识图谱的创始人人为,构成这个世界的是实体,而不是字符串,这从根本上改变了过去搜索的体系。语义理解其实是基于知识,概念和这些概念间的关系。人...原创 2017-09-20 16:27:00 · 419 阅读 · 1 评论 -
2017年计算语义相似度最新论文,击败了siamese lstm,非监督学习
2017年计算语义相似度最新论文,击败了siamese lstm,非监督学习 Page 1Published as a conference paper at ICLR 2017AS IMPLE BUT T OUGH - TO -B EAT B ASELINE FOR S EN -TENCE E MBEDDINGSSanjeev Arora, Y...原创 2017-11-11 15:37:00 · 1422 阅读 · 1 评论 -
语义理解最新看法
给你一篇文章或者一个句子,人们在理解这些句子时,头脑中会进行上下文的搜索和知识联想。对于一篇有思想的文章,作者的创作构思以及核心思想,我们人脑基本的处理逻辑都是结合过去学习过的规则和概念进行抽象总结。作者的创作过程可以形成一个图模型,清晰地展示出路径。目前的nlp根本达不到,都是浅层次的操作,因为目前的nlp基本上借鉴了图像处理机制,根本没有触及nlp的本质。nlp的进展将会十分艰难...原创 2019-01-08 13:54:42 · 1432 阅读 · 0 评论 -
探寻《矩阵论》与AI的结合(二)
总述:https://blog.csdn.net/randy_01/article/details/80616681 这篇博客主要论述了矩阵理论的一般性,接下来将进一步深入探讨特殊矩阵以及应用。国外翻译版的《矩阵论》主要教会从业人员一种研究矩阵的方法论。纵观整个篇幅基本可以发现,研究矩阵的方法不外乎以下几种:①feature value decomposition②矩阵相似性~的研究③矩阵分块理论...原创 2019-01-23 22:26:46 · 3066 阅读 · 1 评论 -
随笔一则
最近的思考 白岩松竟然没有微信,有追求的人果然不同。每天读书,思考,发呆,锻炼身体,聊天,听音乐都是有意义的事情。80后是改革开放进程中最悲壮的群体,这一代人因为经济问题被迫放下或者放弃目标,比如因为钱的问题转行做码...原创 2019-03-19 02:38:00 · 268 阅读 · 1 评论 -
探寻《矩阵论》与AI的结合
前言:矩阵论是对线性代数的延伸,很有必要深入研究。矩阵与泛函数分析和凸优化存在着密不可分的关系,尤其是内积空间部分。研究矩阵论可以加深对PCA,SVD,矩阵分解的理解,尤其是第一章入门的线性空间的理解,在知识图谱向量化,self_attention等论文中会涉及大量的矩阵论的知识。本系列博客对此做一个学习心得总结,省略掉矩阵的微分方程等运算部分,重点论述和AI相关尤其是与结构化约束和无向图推理相关...原创 2018-06-07 23:24:34 · 17036 阅读 · 6 评论 -
统计学笔记(二)
前言:本篇博客包括了随机变量和图模型推理之间的所有内容。学好《统计学》需要《微积分》,《线性代数》,《矩阵论》和《实变函数与泛函数分析》作为基础,另外再增加《凸优化》。如果只是应用的话,这些知识吸收60%就足够了,但是要搞研究的话,不仅要吸收80%以上,另外还要研究《神经生物学从神经元到大脑》和物理学,从中吸收灵感,为研究下一代AI打下好的基础,用几何问题解决代数问题是不可避免的。下一代AI的突破...原创 2018-11-29 16:08:38 · 2237 阅读 · 1 评论 -
统计学笔记(一)
写在前面的话:《统计学完全教程》囊括了统计学的全部知识,共22章,由美国著名的学者沃塞曼所著。在nlp领域里统计学占据主导地位,没有了统计学,深度学习将无法构建损失函数,无法实现图模型的推理。推理算法主要依靠统计学,包括以拉普拉斯矩阵为基础的无向图卷积算子,上个世纪的PageRank算法,随机游走模型……当今的AI主要以从海量数据中寻找规律的方式来实现弱人工智能,包括特征的抽取(比如图卷积算子...原创 2018-11-25 18:10:19 · 4440 阅读 · 1 评论 -
语义相似度(理论篇)
如果本文观点有不对的地方,欢迎指正! author:佟学强 nlp中语义理解一直是业内的难题。汉语不同于英语,同样一个意思,可以有很多种说法,比如你是谁的问题,就可以有如下几种:①你是谁?②你叫什么名字?③您贵姓?④介绍一下你自己 等等。这些句子在语义上是十分接近的,如果做一个智能音响,对音响说出上述任何一句,其结果不应该因为句子形式的不同而不同,也就是说训练出的模型不能对同义语句太敏感。在神...原创 2017-10-27 21:13:44 · 20958 阅读 · 0 评论 -
2017年语义理解总结(一)
2017年就这么悄无声息地过去了。在工业界,2016年是推荐的元年,2017年是中国的AI元年,这意味着路漫漫其修远兮~,而学术界往往会超前于工业界,有些时候难免会一厢情愿。过去的一年在nlp领域里,知识图谱的发展是最为耀眼的,最为尴尬的仍然是chatbot的多轮对话。知识图谱底层更高于RDF层次的语言被提出并进行研究中,而学术界的玩票现象并没有终止,比如在nlp领域里研究GAN,强化学习等等,全...原创 2018-02-25 11:06:35 · 4736 阅读 · 0 评论 -
2017年语义理解总结(二)
前面的博客进行了总述,这篇博客细化深入,主要结合知识图谱,KB_QA,语义表示的丰富性方面来论述,但是仍然会很宽泛,因为在博客里将具体的技术细节,没有太大意义,需要发论文。前面提到,语义理解,一方面要获取丰富,灵活的语义表示,另一方面要与知识图谱融合。要想获取精准的语义理解,比如谁是第一个为纸牌屋里的xx角色配音的人?这类问题的回答,在前面的基础上还要融合语言的逻辑,语言的逻辑一般分为五类:一元,...原创 2018-02-25 11:09:03 · 1591 阅读 · 0 评论 -
语义相似度(实践篇)
这篇文章,专门讲语义相似度问题。先看场景:scene(一):用户通过大众点评,线上约了餐馆,就餐后在上面发表了很多评论,评论中涉及了大量的餐馆的问题,比如菜品质量,酒店卫生,服务等等。现在需要抽取之中的要点,然后反馈给商家。scene(二):KB_QA的两个问题:①获取question的语义表示②把语义表示转换成知识图谱的能够理解的语言逻辑形式。无论是核心推导链还是向量建模,核心都是q...原创 2018-03-27 13:07:23 · 12081 阅读 · 0 评论 -
论场景在研发中的重要性
随着中国改革开放程度的加深,互联网行业也逐渐出现变革,典型的变化就是由原来的低端重复性造轮子,逐步转向高端,以技术创新为主导。一个有力的证明就是近年来以技术驱动的创业公司越来越多,这在10年前是不可想象的。在高端研究人才要求上,对工作经验不再那么看重,而更加重视求职者的学历,专业,背景,最低是博士要求,具备研究能力。在这样的背景下,一些原来传统的互联网大公司,将逐步失去竞争优势。当然事实上也没...原创 2018-04-17 13:00:44 · 2069 阅读 · 0 评论 -
2018年nlp重大进展:关系推理,从图结构入手
author:佟学强abstract文章的标题想了很久,有点儿勉强了,因为让机器实现逻辑推理还差得远。在Ai领域里,目前统计学派和联结主义学派比较盛行,但是类脑学科还没突破,所以当下的Ai都是弱Ai。目前取得突破的基本都是在视觉和语音领域,nlp的进展非常缓慢。众所周知的人类两种智能归纳总结和演绎推理,联结主义只是解决了归纳总结问题,而在nlp中联结主义集中表现在文字高阶特征的抽取上,比如...原创 2018-08-16 16:13:06 · 3378 阅读 · 2 评论 -
史上对BM25模型最全面最深刻的解读以及lucene排序深入讲解(2017年博客)
https://www.cnblogs.com/txq157/p/6420372.html原创 2018-09-25 10:59:55 · 1262 阅读 · 0 评论 -
nlp研究方向的修正
nlp领域里,语义理解仍然是难题! 给你一篇文章或者一个句子,人们在理解这些句子时,头脑中会进行上下文的搜索和知识联想。通常情况下,人在理解语义时头脑中会搜寻与之相关的知识。知识图谱的创始人人为,构成这个世界的是实体,而不是字符串,这从根本上改变了过去搜索的体系。语义理解其实是基于知识,概念和这些概念间的关系。人们在解答问题时,往往会讲述与这个问题相关的知识,这是语义理解的过程。这种机制完全...原创 2017-09-20 16:50:23 · 4244 阅读 · 1 评论