自然语言处理
文章平均质量分 85
张俊林博客
中科院软件所博士学位,研究领域:搜索引擎,自然语言处理,社交挖掘,推荐系统与机器学习。现在从事相关的开发与研究。
展开
-
自然语言处理领域的两种创新观念
/*版权声明:可以任意转载,转载时请务必标明文章原始出处和作者信息 .*/ 自然语言处理领域的两种创新观念 张俊林 timestamp:2006年1原创 2006-11-26 16:52:00 · 6891 阅读 · 3 评论 -
使用Encoder-Decoder模型自动生成对联的思路
本文介绍了如何利用Encoder-Decoder框架来建立对联自动生成系统的主要思路。原创 2016-04-13 18:21:52 · 31775 阅读 · 4 评论 -
使用Word Embedding构造简洁有效的文本摘要系统
本文介绍了使用Word Embedding进行摘要提取的一种非常简洁的方法。原创 2016-04-28 19:27:54 · 31804 阅读 · 11 评论 -
Batch Normalization导读
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 (想更系统地学习深度学习知识?请参考:深度学习枕边书)Batch Normalizatio...原创 2016-05-24 19:08:07 · 72743 阅读 · 41 评论 -
深度学习计算模型中“门函数(Gating Function)”的作用
本文通俗易懂地介绍了深度学习中“门函数”的主要作用及其在LSTM中是如何组合使用的。原创 2016-04-21 18:20:18 · 52591 阅读 · 11 评论 -
新浪微博用户兴趣建模系统架构
本文介绍了2011年左右时间点时新浪微博的用户兴趣模型的整体技术架构。原创 2016-05-19 18:26:52 · 16607 阅读 · 0 评论 -
CNN和RNN中如何引入BatchNorm
在上一篇文章介绍了BatchNorm基本思路后,本文介绍CNN和RNN中如何引入BatchNorm及目前可以得出的一些研究结论。原创 2016-06-01 19:37:35 · 42808 阅读 · 8 评论 -
使用深度学习打造智能聊天机器人
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 (想更系统地学习深度学习知识?请参考:深度学习枕边书) 聊天机器人(也可以称为语音助手、聊天助手、对话机器人...原创 2016-07-13 20:22:41 · 49965 阅读 · 6 评论 -
深度学习在搜索和推荐领域的应用
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 深度学习在搜索和推荐领域的应用 (想更系统地学习深度学习知识?请...原创 2016-07-27 20:02:02 · 51361 阅读 · 3 评论 -
我爱计算机:张俊林专访
一篇专访,谈谈关于人工智能的行业经验及一些看法。原创 2016-08-18 18:55:57 · 12276 阅读 · 0 评论 -
聊天机器人中对话模板的高效匹配方法
本文介绍了聊天机器人中一种简单高效的模板管理与匹配系统。原创 2016-08-11 19:38:29 · 38863 阅读 · 16 评论 -
序列标注问题中将分类标签引入RNN网络结构的尝试
本文讲了讲我们在解决序列标注问题中将分类标签引入RNN网络结构的一次不成功的尝试。原创 2016-09-06 19:32:29 · 12621 阅读 · 2 评论 -
机器阅读理解中文章和问题的深度学习表示方法
文本归纳了机器阅读理解任务中文章和问题的常见神经网络表示方法。原创 2016-09-21 18:38:22 · 15701 阅读 · 2 评论 -
深度学习解决机器阅读理解任务的研究进展
本文是对深度学习在机器阅读理解领域最近进展的综述文章。原创 2016-10-16 19:05:36 · 33336 阅读 · 9 评论 -
深度学习中的注意力机制(2017版)
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ 张俊林 (...原创 2017-12-10 21:57:17 · 164705 阅读 · 43 评论 -
深度学习枕边书
/*本文可以随便转载,转载时请注明作者及文章出处*/ 作者:新浪微博 张俊林 所谓“深度学习枕边书”,我的目的是希望能够找到初学者能够了解深度学习的最小知识集合,也就是介绍那些最重要必须要了解的技术点。目标一个方面是知识最小集,以节省入门者的时...原创 2018-08-25 15:50:12 · 28904 阅读 · 3 评论 -
从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史
本文可以任意转载,转载时请标明作者和出处。 张俊林 2018-11-11(如果图片浏览有问题可以转至:知乎版本)Bert最近很火,应该是最近最火爆的AI进展,网上的评价很高,那么Be...原创 2018-11-11 20:24:32 · 45201 阅读 · 12 评论 -
自然语言处理中CNN模型几种常见的Max Pooling操作
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 (想更系统地学习深度学习知识?请参考:深度学习枕边书)CNN是目前自然语言处理中和RNN并驾齐驱的两种最...原创 2016-04-07 19:00:02 · 75395 阅读 · 14 评论 -
使用深度RNN模型构建语义搜索引擎
本文探讨了几种使用RNN来做语义搜索的可能网络结构。原创 2016-03-14 18:49:33 · 12702 阅读 · 4 评论 -
自然语言处理中的模式(模式0:模式无处不在模式)
回到自然语言处理研究中的模式上来,自然语言处理相关的国际会议有ACL,COLING,EMENP等等,如果你经常跟踪会议论文并整理子领域的研究进展脉络的话,会发现在这个领域的研究中一样存在着固定的研究模式,其子领域的发展是有路径可循甚至是可以预测其发展方向的。举个比较明显的子领域,比如统计机器翻译,从最初的单词对的翻译加上顺序调整,到扩展为短语对的翻译加上顺序调整,再到目前比较热的字符串到树结构的映射,树结构之间的映射等,其发展脉络非常清楚,这种走向其实也是研究模式的一种具体表现,如果是有经验的研究人员是很容原创 2010-07-30 17:13:00 · 7637 阅读 · 6 评论 -
自然语言处理中的模式(模式1.概率化模式)
在自然语言处理中,歧义是非常容易出现的问题,无论是在分词,句法,语义各个层面都会面临歧义的问题,所谓歧义代表了对于一个输入有若干种输出,那么此时选择哪个作为正确输出就成为了一个问题。概率的引入为此提供了一个直观的解决方案,即选择概率值最大的作为正确的结果。原创 2010-08-12 15:33:00 · 12903 阅读 · 24 评论 -
文本摘要技术调研
/* 版权声明:可以任意转载,转载时请务必标明文章原始出处和作者信息 .*/ 文本摘要技术调研 CopyMiddle: 张俊林 TimeStamp:2010 年9 月 一.文本原创 2012-12-18 10:05:26 · 10592 阅读 · 1 评论 -
深度学习在自然语言处理的应用(Version 0.76)
深度学习,自然语言处理原创 2014-12-05 22:57:25 · 6325 阅读 · 1 评论 -
深度学习与自然语言处理之五:从RNN到LSTM
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 (想更系统地学习深度学习知识?请参考:深度学习枕边书)大纲如下:1.RNN2.LSTM...原创 2015-12-30 19:01:16 · 59043 阅读 · 2 评论 -
自然语言处理中的Attention Model:是什么及为什么
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 (想更系统地学习深度学习知识?请参考:深度学习枕边书)要是关注深度学习在自然...原创 2016-01-20 18:26:02 · 116294 阅读 · 37 评论 -
利用卷积神经网络(CNN)构造社区问答系统
问答社区算是一类已经比较成熟的互联网应用了,国外的比如Quora、StackOverflow,国内的比如老派的百度知道,新一代的知乎,都算是代表性的社交类问答社区。问答社区本质上就是个人肉知识库,通过一段时间的积累,会累积相当多以<问题,答案>方式存在的知识。原创 2015-12-21 20:25:21 · 20969 阅读 · 15 评论 -
穷人的语义处理工具箱之一:语义版Jaccard
如果对工业界里的机器学习(ML)从业者进行阶级划分的话,划线标准不是你用的算法的学名听起来多酷炫,无论你手里抡着的是最潮的深度高达1000层的深度学习核炸弹,还是听起来有点掉渣的大刀长矛朴素贝叶斯,如果没有大量数据,尤其是能跑监督学习算法的带标签训练数据,你就是ML界标准的底层渣男渣女或者渣娘炮。再加上计算资源,如果贵公司有上千台GPU服务器集群可供阁下驱使,外加十几火车皮的训练数据,那你就可能成为ML界的新贵、大数据处理领域的马云。原创 2016-01-06 19:22:09 · 9175 阅读 · 13 评论 -
以Attention Model为例谈谈两种研究创新模式
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 各位观众朋友好,也许此刻您刚打开电梯…….读这一篇之前,请您最好先拜读一下本篇的前传:文本处理中的Attention Model:是什么及为什么。因为那里有些背景知...原创 2016-01-26 00:18:00 · 35113 阅读 · 21 评论 -
深度学习与自然语言处理之四:卷积神经网络模型(CNN)
深度学习与自然语言处理之四:卷积神经网络模型(CNN)原创 2016-01-14 18:35:24 · 23831 阅读 · 17 评论 -
使用深度双向LSTM模型构造社区问答系统
本文探讨了如何使用深度双向LSTM网络来解决问答社区的问题。原创 2016-02-15 18:17:17 · 34469 阅读 · 10 评论 -
使用RNN解决句子对匹配问题的常见网络结构
除了序列标注问题外,句子对匹配(Sentence Pair Matching)问题也是NLP中非常常见的一类问题,所谓“句子对匹配”,就是说给定两个句子S1和S2,任务目标是判断这两个句子是否具备某种类型的关系。原创 2016-03-18 19:45:33 · 12442 阅读 · 3 评论 -
多级神经网络结构表达文档语义性能更好吗
推导和表示一篇文章的语义对于自然语言处理来说是个很基础也很重要的工作。推导文档语义可以用无监督的方法,也可以用有监督的方法。所谓“无监督的方法”。本文探讨了多层文档结构和单层文档结构神经网络的效果。原创 2016-03-31 18:33:42 · 7183 阅读 · 0 评论 -
使用RNN解决NLP中序列标注问题的通用优化思路
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 (想更系统地学习深度学习知识?请参考:深度学习枕边书)序列标注问题应该说是自然语言处理中最...原创 2016-02-23 19:11:46 · 34449 阅读 · 23 评论 -
穷人的语义处理工具箱之二:语义编辑距离
本文介绍了一种语义版本的编辑距离。原创 2016-03-24 18:40:38 · 8013 阅读 · 4 评论 -
放弃幻想,全面拥抱Transformer:自然语言处理三大特征抽取器(CNN/RNN/TF)比较
author:张俊林 /*可以转载,转载请标明作者及知乎的出处*/如果看不清图片,请转到:放弃幻想,全面拥抱Transformer:自然语言处理三大特征抽取器(CNN/RNN/TF)比较 在辞旧迎新的时刻,大家都在忙着回顾过去一年的成...原创 2019-01-15 22:39:40 · 28915 阅读 · 14 评论