sjyttkl的专栏

机器学习基本算法

语义相似度计算——DSSM

导语 在NLP领域,语义相似度的计算一直是个难题:搜索场景下query和Doc的语义相似度、feeds场景下Doc和Doc的语义相似度、机器翻译场景下A句子和B句子的语义相似度等等。本文通过介绍DSSM、CNN-DSSM、LSTM-DSSM等深度学习模型在计算语义相似度上的应用,希望给读者带来帮...

2019-08-14 14:32:56

阅读数 18

评论数 0

图解Transformer

前言 Transformer在Goole的一篇论文Attention is All You Need被提出,为了方便实现调用Transformer Google还开源了一个第三方库,基于TensorFlow的Tensor2Tensor,一个NLP的社区研究者贡献了一个Torch版本的支持:guid...

2019-08-07 21:03:02

阅读数 46

评论数 0

通俗易懂!使用Excel和TF实现Transformer

本文旨在通过最通俗易懂的过程来详解Transformer的每个步骤! 假设我们在做一个从中文翻译到英文的过程,我们的词表很简单如下: 中文词表:[机、器、学、习] 英文词表[deep、machine、learning、chinese] 先来看一下Transformer的整个过程: 接下...

2019-08-07 20:37:03

阅读数 54

评论数 0

Transformer一统江湖:自然语言处理三大特征抽取器比较

【新智元导读】自然语言处理中的三大特征处理器:RNN、CNN、Transformer,它们目前谁各方面占据优势?未来谁又更有前途呢?这篇文章用目前的各种实验数据给出了说明,结论是:放弃幻想,全面拥抱Transformer。 在辞旧迎新的时刻,大家都在忙着回顾过去一年的成绩(或者在灶台前含泪数...

2019-08-07 18:46:11

阅读数 14

评论数 0

tf.contrib.crf.crf_log_likelihood说明

最近在 做一个 NER的项目,使用的是BILSTM+CRF 结构,后续 项目写完后,会开源出来。 现在 对 使用 tf.contrib.crf.crf_log_likelihood时,遇到的参数问题 说一下: 官方说明:https://www.tensorflow.org/code/stabl...

2019-08-04 16:55:16

阅读数 12

评论数 0

tensorflow中 bilstm+crf实现代码总结

正看这方面的资料,网上资源多多,而且质量很高,总结放在此处: Implementing Bi-directional LSTM-CRF Networkhttp://stackoverflow.com/questions/33078423/implementing-bi-directional-l...

2019-08-04 16:53:17

阅读数 11

评论数 0

CRF函数:tf.contrib.crf.crf_log_likelihood()

在分析训练代码的时候,遇到了,tf.contrib.crf.crf_log_likelihood,这个函数,于是想简单理解下: 函数的目的:使用crf 来计算损失,里面用到的优化方法是:最大似然估计 使用方法: tf.contrib.crf.crf_log_likelihood(inp...

2019-08-04 16:52:20

阅读数 10

评论数 0

nlp比赛篇

https://github.com/zhpmatrix/nlp-competitions-list-review(可以参考,但是实时性不太好) https://blog.csdn.net/tcx1992/article/details/86555278

2019-08-02 11:27:53

阅读数 14

评论数 0

nlp四大顶会:

ACL:The Association for Computational Linguistics,https://www.aclweb.org/portal EMNLP:Conference on Empirical Methods in Natural Language Processing...

2019-08-02 11:27:21

阅读数 35

评论数 0

nlp实验室

1 中科院计算所自然语言处理研究组,华为诺亚方舟实验室http://nlp.ict.ac.cn/2017/index_zh.php 2 哈工大社会计算和信息检索中心http://ir.hit.edu.cn/paperspapers/papers 3 复旦大学自然语言处理小组 4清华大学自然语...

2019-08-02 11:25:53

阅读数 17

评论数 0

如何让奇异值分解(SVD)变得不“奇异”?

在之前的一篇文章:通俗解释协方差与相关系数,红色石头为大家通俗化地讲解了协方差是如何定义的,以及如何直观理解协方差,并且比较了协方差与相关系数的关系。 本文红色石头将继续使用白话语言,介绍机器学习中应用十分广泛的矩阵分解方法:奇异值分解(SVD)。本文不注重详细的数学推导,只注重感性的理解以及如...

2019-07-27 22:15:00

阅读数 37

评论数 0

协方差、相关系数(Pearson 相关系数)

一、相关系数第一次理解 概念:Pearson相关系数 (Pearson CorrelationCoefficient)是用来衡量两个数据集合是否在一条线上面,它用来衡量定距变量间的线性关系。[1] 注: 【定距变量】[2][3] 若想理解定距变量,需要与其他变量类型进行比对。 统计学依据数据...

2019-07-27 19:12:56

阅读数 41

评论数 0

Mahalanobis距离(马氏距离)的“哲学”解释

讲解教授:赵辉 (FROM : UESTC) 课程:《模式识别》 整理:PO主 基础知识: 假设空间中两点x,y,定义: 欧几里得距离, Mahalanobis距离, 不难发现,如果去掉马氏距离中的协方差矩阵,就退化为欧氏距离。那么我们就需要探究这个多出来的因子究竟有什么含义。 第...

2019-07-27 18:39:34

阅读数 39

评论数 0

机器学习中有关概率论知识的小结

一、引言 最近写了许多关于机器学习的学习笔记,里面经常涉及概率论的知识,这里对所有概率论知识做一个总结和复习,方便自己查阅,与广大博友共享,所谓磨刀不误砍柴工,希望博友们在这篇博文的帮助下,阅读机器学习的相关文献时能够更加得心应手!这里只对本人觉得经常用到的概率论知识点做一次小结,主要是基本概念...

2019-07-14 00:44:22

阅读数 31

评论数 0

简易解说拉格朗日对偶(Lagrange duality)

引言:尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识,非科班出身,如有数学专业博友,望多提意见! 这里也是引用别人的博客 1.原始问题 假设是定义在上的连续可微函数(为什么要求连续可微呢,后面再说,这里不用多想),考虑约束最优化问题: 称为约束最优化问题的原...

2019-07-14 00:42:01

阅读数 14

评论数 0

EM算法原理详解

1.引言 以前我们讨论的概率模型都是只含观测变量(observable variable), 即这些变量都是可以观测出来的,那么给定数据,可以直接使用极大似然估计的方法或者贝叶斯估计的方法;但是当模型含有隐变量(latent variable)的时候, 就不能简单地使用这些估计方法。 如在高斯...

2019-07-14 00:32:33

阅读数 12

评论数 0

如何用简单易懂的例子解释条件随机场(CRF)模型?它和HMM有什么区别?·

概率图模型学习笔记:HMM、MEMM、CRF 目录 一、Preface 二、Prerequisite 2.1 概率图 2.1.1 概览 2.1.2 有向图 vs. 无向图 2.1.3 马尔科夫假设&马尔科夫性 2.2 判别式(discriminative)模型 ...

2019-07-08 00:07:31

阅读数 67

评论数 0

最大熵模型中的对数似然函数的解释

最大熵模型中的对数似然函数的解释 最近在学习最大熵模型,看到极大似然估计这部分,没有看明白条件概率分布的对数似然函数。上网查了很多资料都没有一个合理的解释。基本直接给出对数似然函数的一般形式: 其实并没有解决...

2019-07-07 18:20:05

阅读数 23

评论数 0

条件随机场 (conditional random fields )模型

条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型。它在观测序列的基础上对目标序列进行建模,重点解决序列化标注的问题条件随机场模型既具有判别式模型的优点,又具有产生式模型考虑到上下文标记间的转移概率,以序列化形式进行全局参数优化和解码的特点,解决了其他判别式模型(如最大熵马尔...

2019-06-28 17:24:14

阅读数 45

评论数 0

NLP&深度学习:近期趋势概述

NLP&深度学习:近期趋势概述 NLP&深度学习:近期趋势概述 摘要:当NLP遇上深度学习,到底发生了什么样的变化呢? 在最近发表的论文中,Young及其同事汇总了基于深度学习的自然语言处理(NLP)系统和应用程序的一些最新趋势。本文的重点介绍是对各种...

2019-05-25 16:06:19

阅读数 29

评论数 0

提示
确定要删除当前文章?
取消 删除