文本匹配(语义相似度/行为相关性)技术综述

NLP 中,文本匹配技术,不像 MT、MRC、QA 等属于 end-to-end 型任务,通常以文本相似度计算、文本相关性计算的形式,在某应用系统中起核心支撑作用,比如搜索引擎、智能问答、知识检索、信息流推荐等。本篇将纵览文本匹配的技术发展,并重点介绍文本语义相似度计算技术,以及多轮对话场景中的文...

2019-01-13 13:08:39

阅读数 222

评论数 0

概率图模型 —— 串连 NB、LR、MEM、HMM、CRF

概率图模型(PGM),作为机器学习的重要分支,能串连起很多传统模型,比如 NB、LR、MEM、HMM、CRF、DBN 等。本篇文章,从串连多个模型的角度,来谈谈 PGM,顺便把这些模型回顾下。

2018-10-23 00:14:32

阅读数 423

评论数 1

【精读Paper】BERT:NLP 新范式

二月份出了 ELMo,六月出了 OpenAI Transformer,十月又出了BERT,下半年开始的这场预训练语言模型的火,越燃越大啊,希望能烧出 CV 那样的 baseline。 不得不说,Jacob 的这篇 BERT 真是大手笔,massive data + massive model +...

2018-10-16 00:30:53

阅读数 1532

评论数 0

深度强化学习(文献篇)—— 从 DQN、DDPG、NAF 到 A3C

自己第一篇 paper 就是用 MDP 解决资源优化问题,想来那时写个东西真是艰难啊。 彼时倒没想到这个数学工具,如今会这么火,还衍生了新的领域——强化学习。当然现在研究的内容已有了很大拓展。 这段时间会做个深度强化学习的专题,包括基础理论、最新文献和实践三大部分。 ...

2018-09-02 18:45:55

阅读数 1816

评论数 1

深度强化学习(理论篇)—— 从 Critic-only、Actor-only 到 Actor-Critic

这段时间会做个深度强化学习的专题,包括理论、文献和实践三大部分。

2018-08-12 22:52:07

阅读数 1531

评论数 4

浅谈机器学习中的非线性

之前学习没有想透,最近交流时,在这个问题上磕绊了几次,打算仔细思考下。 关于机器学习中的线性和非线性,有两个聚焦点,一个是问题,一个是模型。 问题的线性非线性,指的是样本点的分布,是否能在输入空间 Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学...

2018-06-18 20:22:53

阅读数 1137

评论数 0

从compositional到distributed,从无监督到有监督再到多任务学习 —— 漫谈句向量 Sentence Embedding

关于词向量,word embedding,研究相对较早,存在多种表征方式,目前 distributed 方式相对成熟,得到了广泛应用。但从 word 向 sentence、paragraph、document扩展,却仍处于探索阶段,本文尝试对目前主要的研究方向和代表工作进行概述,不会详细介绍模型细...

2018-05-27 21:30:03

阅读数 1443

评论数 0

学习排序 Learning to Rank:从 pointwise 和 pairwise 到 listwise,经典模型与优缺点

Ranking 是信息检索领域的基本问题,也是搜索引擎背后的重要组成模块。本文将对结合机器学习的 ranking 技术——learning2rank——做个系统整理,包括 pointwise、pairwise、listwise 三大类型,它们的经典模型,解决了什么问题,仍存在什么缺陷。关于具体应用...

2018-05-20 14:32:26

阅读数 5788

评论数 2

机器学习知识地图 —— 监督学习(集成分类器)

自己整理的知识地图,有兴趣的可以看看

2018-05-08 21:11:12

阅读数 222

评论数 0

神经网络 和 NLP —— 文本中的特征构造

前段时间一口气读完了 NN4NLP,很是畅快,非常喜欢作者行文讲解的口吻和逻辑。大概两周读完,每页都有收获,读完后反而担心有所疏漏,知识太多留不住,索性从头来一遍,把学习过程的知识点和思考记录下来,也算精简版供自己今后查阅。 感兴趣的,可以一起学习讨论,真的很推荐这本书。 大致介绍下该书。NN...

2018-03-04 00:09:27

阅读数 567

评论数 2

分布式机器学习的故事

王益博士,称得上机器学习领域的资深从业者,本人之前有幸拜读过王益博士的一些paper和slides,对其从事的“分布式机器学习”方向尤感兴趣。王益博士之前写过一篇《分布式机器学习的故事》,总结了自己从业多年的经验和感悟。可惜的是,这篇原始博文已经删除了,现在能找到的是原始的六篇讲稿素材:A New...

2016-11-07 12:08:58

阅读数 9091

评论数 5

数学优化入门:凸优化

做科研时,曾花了段时间学习凸优化,后来发现ML中其应用也非常普遍,想来今后可能还会接触,干脆做个系统的总结,方便以后查询。 博文内容主要参考Boyd(Stanford)的Convex Optimization,配套的slides,以及部分网络材料,感兴趣的朋友可以一起学习探讨。 1、前...

2016-10-18 11:10:50

阅读数 21944

评论数 17

数学优化入门:梯度下降法、牛顿法、共轭梯度法

1、基本概念 1.1 方向导数 1.2 梯度的概念 因此,对于一元函数,即y=f(x),其梯度的方向总是指向x轴正方向或反方向,而大小即该点的导数。 如果考虑z=f(x,y)描绘的是一座在点(x,y)的高度为f(x,y)的山。那么,某一点的梯度方向是在该点坡度最陡的方向,而...

2016-10-13 19:45:43

阅读数 17210

评论数 8

矩阵的特征值分解与奇异值分解的几何意义

1、首先,矩阵可以认为是一种线性变换:确定了定义域空间与目标空间的两组基,就可以很自然地得到该线性变换的矩阵表示。即矩阵A可以通过Ax=b将一个向量x线性变换到另一个向量b,这个过程中,线性变换的作用包含三类效应:旋转、缩放和投影。2、奇异值分解体现了对线性变换这三种效用的一个析构。 在中,U的...

2016-07-22 15:02:47

阅读数 6050

评论数 3

Matlab中凸优化工具包CVX的安装、注册与使用

我们从最新版本cvx 3.0的安装、注册和实例讲起,对自己最新文章中的一个算法进行验证。

2016-05-18 10:46:40

阅读数 25497

评论数 27

机器学习 实践流程 思维导图

自己结合学习与实践,从机器学习实践出发,整理了整个流程,以思维导图的形式呈现,也方便自己以后查阅。

2016-04-16 14:27:18

阅读数 2671

评论数 6

推荐系统(一) —— 好的推荐系统

ML方向初步计划学习下推荐系统,感谢灵哥和宇哥推荐的书——《推荐系统实践》,书一到手,迫不及待的就把第一章看完了,感觉确实很有意思,值得投入去学习。本书并没有打算写成handbook式的巨著或者事无巨细的基础教材,内容相对琐碎松散,当然,这应该是由于领域特点所限,因此,自己打算在学习之余,抽时间将...

2016-04-16 12:21:58

阅读数 9400

评论数 1

美团点击下单率预测问题(以数据清洗与特征处理为主)

本文转载自美团点评技术团队文章http://tech.meituan.com/rerank_solution_offline.html。

2016-03-18 11:20:08

阅读数 2999

评论数 0

美团团购单交易额预估问题

本文转载自美团点评技术团队文章http://tech.meituan.com/mt-mlinaction-how-to-ml.html

2016-03-18 09:45:25

阅读数 2770

评论数 1

矩阵形式的MMSE算法推导

矩阵形式的MMSE算法推导

2016-03-12 22:00:13

阅读数 8678

评论数 3

提示
确定要删除当前文章?
取消 删除