自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

张俊林的博客

从历史阅读未来

  • 博客(118)
  • 收藏
  • 关注

原创 深度学习枕边书

                       /*本文可以随便转载,转载时请注明作者及文章出处*/                                             作者:新浪微博  张俊林      所谓“深度学习枕边书”,我的目的是希望能够找到初学者能够了解深度学习的最小知识集合,也就是介绍那些最重要必须要了解的技术点。目标一个方面是知识最小集,以节省入门者的时...

2018-08-25 15:50:12 18857 2

原创 博主新书:《大数据日知录:架构与算法》目录

4目录编辑第0 章 当谈论大数据时我们在谈什么................ 10.1 大数据是什么.......................... 20.2 大数据之翼:技术范型转换......................................... 40.3 大数据商业炼金术................................ 6

2014-09-16 09:28:29 10188 4

原创 放弃幻想,全面拥抱Transformer:自然语言处理三大特征抽取器(CNN/RNN/TF)比较

                                          author:张俊林                                  /*可以转载,转载请标明作者及知乎的出处*/如果看不清图片,请转到:放弃幻想,全面拥抱Transformer:自然语言处理三大特征抽取器(CNN/RNN/TF)比较 在辞旧迎新的时刻,大家都在忙着回顾过去一年的成...

2019-01-15 22:39:40 17321 11

原创 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史

                                              本文可以任意转载,转载时请标明作者和出处。                                                          张俊林 2018-11-11(如果图片浏览有问题可以转至:知乎版本)Bert最近很火,应该是最近最火爆的AI进展,网上的评价很高,那么Be...

2018-11-11 20:24:32 29876 9

原创 深度学习中的Normalization模型

                        /*本文可以随便转载,转载时请注明作者及文章出处*/                                             作者:新浪微博  张俊林  Batch Normalization(简称BN)自从提出之后,因为效果特别好,很快被作为深度学习的标准工具应用在了各种场合。BN大法虽然好,但是也存在一些局限和问题,诸...

2018-08-28 21:33:05 11906 11

原创 社交搜索Graph Search技术解析

  Facebook是目前世界上最著名的社交网站,月活跃用户已超过10亿,每日登陆网站的用户超过6亿。如果从数据抽象的角度来看,Facebook的社交图不仅包括好友之间的关系,还包括人和实体以及实体之间的关系,每个用户,每个页面,每张图片,每个应用,每个地点以及每个评论都可以作为独立实体,用户喜欢某个页面则建立了用户和页面之间的关系,用户在某个地点签到则建立了用户和地点之间的关系……如果将每个实体...

2018-07-15 09:54:10 6578 2

原创 深度学习在CTR预估任务中的应用

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                                                         张俊林                                      (本文是2017年底Archsummit全球架构师峰会演讲内...

2018-05-11 22:57:08 6152 1

原创 2017年AI技术盘点:关键进展与趋势

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                                                         张俊林                                                                   (本文20

2018-02-04 18:01:15 1996

原创 通过不断重置学习率来逃离局部极值点

本文提出了一种利用不断调大学习率的方法试图跳出SGD优化过程中的局部极小值或者鞍点的方法,并提出了两种具体的方法:随机漫步起跳法和历史最优起跳法,实验证明相对常规优化方法有一定性能提升。

2017-12-10 22:46:56 15717 2

原创 深度学习中的注意力机制(2017版)

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                                                         张俊林                                                                   (...

2017-12-10 21:57:17 64084 22

原创 机器码农:深度学习自动编程

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                                                         张俊林                                                                   (...

2017-06-03 19:03:10 51868 8

原创 极深网络(ResNet/DenseNet): Skip Connection为何有效及其它

Residual Network通过引入Skip Connection到CNN网络结构中,使得网络深度达到了千层的规模,并且其对于CNN的性能有明显的提升,但是为何这个新结构会发生作用?这个问题其实是个挺重要的问题。本PPT归纳了极深网络相关的工作,包括ResNet为何有效以及目前的一些可能下的结论。

2017-03-28 16:06:39 42890 4

原创 NeuralFinder:集成人工生命和遗传算法自动发现神经网络最优结构

如何让机器自动针对问题设计出好的神经网络结构?本文介绍了一种利用人工生命和遗传算法自动发现深度学习中神经网络最优结构的方法,实验结果表明,这种方法通过少量计算可以自动发现和人类手工设计出较好的神经网络结构相近性能的神经网络。

2017-03-18 10:04:01 18139 12

原创 微博环境下利用综合策略构建推荐引擎

本文内容是2012年在新浪微博的工作,是关于微群综合推荐系统的PPT,曾在QCON2013上海分享过。

2016-11-22 20:27:38 3620

原创 AlphaGo:人工智能与深度学习

本文介绍了Alphago里使用到的关键技术,包括蒙特卡洛搜索树和深度学习算法。

2016-10-31 19:53:02 6950 3

原创 深度学习解决机器阅读理解任务的研究进展

本文是对深度学习在机器阅读理解领域最近进展的综述文章。

2016-10-16 19:05:36 27198 9

原创 机器阅读理解中文章和问题的深度学习表示方法

文本归纳了机器阅读理解任务中文章和问题的常见神经网络表示方法。

2016-09-21 18:38:22 14299 2

原创 序列标注问题中将分类标签引入RNN网络结构的尝试

本文讲了讲我们在解决序列标注问题中将分类标签引入RNN网络结构的一次不成功的尝试。

2016-09-06 19:32:29 10457 2

原创 我爱计算机:张俊林专访

一篇专访,谈谈关于人工智能的行业经验及一些看法。

2016-08-18 18:55:57 10053

原创 聊天机器人中对话模板的高效匹配方法

本文介绍了聊天机器人中一种简单高效的模板管理与匹配系统。

2016-08-11 19:38:29 30189 16

原创 深度学习在搜索和推荐领域的应用

 /* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                      author: 张俊林                          深度学习在搜索和推荐领域的应用                       (想更系统地学习深度学习知识?请...

2016-07-27 20:02:02 48764 2

原创 使用深度学习打造智能聊天机器人

 /* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                      author: 张俊林                              (想更系统地学习深度学习知识?请参考:深度学习枕边书) 聊天机器人(也可以称为语音助手、聊天助手、对话机器人...

2016-07-13 20:22:41 46683 6

原创 CNN和RNN中如何引入BatchNorm

在上一篇文章介绍了BatchNorm基本思路后,本文介绍CNN和RNN中如何引入BatchNorm及目前可以得出的一些研究结论。

2016-06-01 19:37:35 38558 8

原创 Batch Normalization导读

 /* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                      author: 张俊林                                       (想更系统地学习深度学习知识?请参考:深度学习枕边书)Batch Normalizatio...

2016-05-24 19:08:07 66188 38

原创 新浪微博用户兴趣建模系统架构

本文介绍了2011年左右时间点时新浪微博的用户兴趣模型的整体技术架构。

2016-05-19 18:26:52 15816

原创 Paxos协议基本原理

本文介绍了分布式系统维护数据一致性中非常重要且基础的技术Paxos协议的基本原理。

2016-05-10 19:13:51 20275

原创 使用Word Embedding构造简洁有效的文本摘要系统

本文介绍了使用Word Embedding进行摘要提取的一种非常简洁的方法。

2016-04-28 19:27:54 30989 11

原创 深度学习计算模型中“门函数(Gating Function)”的作用

本文通俗易懂地介绍了深度学习中“门函数”的主要作用及其在LSTM中是如何组合使用的。

2016-04-21 18:20:18 33815 8

原创 使用Encoder-Decoder模型自动生成对联的思路

本文介绍了如何利用Encoder-Decoder框架来建立对联自动生成系统的主要思路。

2016-04-13 18:21:52 30035 4

原创 自然语言处理中CNN模型几种常见的Max Pooling操作

 /* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                      author: 张俊林                                  (想更系统地学习深度学习知识?请参考:深度学习枕边书)CNN是目前自然语言处理中和RNN并驾齐驱的两种最...

2016-04-07 19:00:02 62554 13

原创 多级神经网络结构表达文档语义性能更好吗

推导和表示一篇文章的语义对于自然语言处理来说是个很基础也很重要的工作。推导文档语义可以用无监督的方法,也可以用有监督的方法。所谓“无监督的方法”。本文探讨了多层文档结构和单层文档结构神经网络的效果。

2016-03-31 18:33:42 6720

原创 穷人的语义处理工具箱之二:语义编辑距离

本文介绍了一种语义版本的编辑距离。

2016-03-24 18:40:38 7570 4

原创 使用RNN解决句子对匹配问题的常见网络结构

除了序列标注问题外,句子对匹配(Sentence Pair Matching)问题也是NLP中非常常见的一类问题,所谓“句子对匹配”,就是说给定两个句子S1和S2,任务目标是判断这两个句子是否具备某种类型的关系。

2016-03-18 19:45:33 11567 3

原创 使用深度RNN模型构建语义搜索引擎

本文探讨了几种使用RNN来做语义搜索的可能网络结构。

2016-03-14 18:49:33 11914 4

原创 使用RNN解决NLP中序列标注问题的通用优化思路

 /* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                      author: 张俊林                                         (想更系统地学习深度学习知识?请参考:深度学习枕边书)序列标注问题应该说是自然语言处理中最...

2016-02-23 19:11:46 32208 23

原创 使用深度双向LSTM模型构造社区问答系统

本文探讨了如何使用深度双向LSTM网络来解决问答社区的问题。

2016-02-15 18:17:17 31988 10

原创 为何谷歌围棋AI AlphaGo可能会把李世石击溃

谷歌DeepMind开发的人工智能围棋程序AlphaGo以5:0的压倒性优势击败了欧洲围棋冠军、专业二段棋手Fan Hui,这是最近一周来最火爆的新闻了。16年3月份AlphaGo会和最近10年平均成绩表现最优秀的韩国九段、世界冠军李世石进行对弈,这无疑也是最吸引眼球的一场人机世纪大战,如果此役AlphaGo获胜,这意味着人工智能真正里程碑式的胜利,从此起码在智力博弈类游戏范围内,碳基体人类将无法抵挡硅基类机器的狂风骤雨,不知这是该令人惊恐还是令人兴奋呢?

2016-02-03 21:08:05 13776 18

原创 以Attention Model为例谈谈两种研究创新模式

/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                     author: 张俊林         各位观众朋友好,也许此刻您刚打开电梯…….读这一篇之前,请您最好先拜读一下本篇的前传:文本处理中的Attention Model:是什么及为什么。因为那里有些背景知...

2016-01-26 00:18:00 33262 21

原创 自然语言处理中的Attention Model:是什么及为什么

 /* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/                                                      author: 张俊林                                                (想更系统地学习深度学习知识?请参考:深度学习枕边书)要是关注深度学习在自然...

2016-01-20 18:26:02 111053 34

原创 深度学习与自然语言处理之四:卷积神经网络模型(CNN)

深度学习与自然语言处理之四:卷积神经网络模型(CNN)

2016-01-14 18:35:24 21506 17

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除