自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(95)
  • 收藏
  • 关注

原创 机器学习-- CRF总结

本次要总结的是条件随机场(CRF)相关知识

2020-10-25 14:51:36 112

原创 机器学习-- > 隐马尔科夫模型(HMM)

本篇博文将详细总结隐马模型相关知识,理解该模型有一定的难度,在此浅薄的谈下自己的理解。HMM定义HMMHMMHMM 是关于时序的概率模型,描述由一个隐藏的马尔科夫链生成不可观测的状态随机序列,再由各个状态生成观测随机序列的过程。隐马尔科夫模型随机生成的状态随机序列,称为状态序列;每个状态生成一个观测,由此产生的观测随机序列,称为观测序列。序列的每个位置可看做是一个时刻。上图中的...

2020-10-10 10:36:14 896 1

原创 论文分享-- GCN -- Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering

博客内容将首发在微信公众号"跟我一起读论文啦啦",上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文,欢迎关注!本次要总结的论文是 Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering,论文链接GCN,参考的代码实现GCN-code。不得不说,读懂这篇论文难度较大,因为里面有许多数学推导,要了解较多的数学知识。本人数学一般,因此在读本论文的同时参考了网上大部分较优秀的讲解,这里会结

2020-10-05 01:02:27 183

原创 论文分享 -- NLP -- grid beam search

本篇博文主要总结论文 Lexically Constrained Decoding for Sequence Generation Using Grid Beam Search,论文链接 gbs,参考的实现代码 codes。首先不得不说,对于初学者来说,beamsearch是一种稍微难理解的算法,而在此算法上衍生的grid beam search就更复杂了,因此本论文读起来有一定的难度。论文动机普通的beamsearch是由动态规划的方法找到最优的生成序列,但是这种方法在交互翻译场景可能并不适用,

2020-07-15 20:51:49 219 3

原创 论文分享 -- >Graph Embedding -- >struc2vec

博客内容将首发在微信公众号"跟我一起读论文啦啦",上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文,欢迎关注!本次要总结和分享的论文是struc2vec,参考的代码code,不同于以往根据顶点在图中位置以及与其他顶点距离关系来学习顶点的表示,本论文提出的一种独立于顶点位置,属性的方法来捕捉顶点的stronger notions of structural identity,...

2020-03-22 20:12:28 376

原创 论文分享 -- >Graph Embedding -- >Structural Deep Network Embedding

博客内容将首发在微信公众号"跟我一起读论文啦啦",上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文,欢迎关注!本次要分享的论文是来自KDD2016的工作,论文链接Structural Deep Network Embedding,(简称SDNE)参考的代码链接 CODE。本篇论文同样致力于利用图结构,获取节点的embedding representation,定义了与 LI...

2020-03-08 19:40:48 302

原创 Spark性能优化 -- > Joins (SQL and Core)

博客内容将首发在微信公众号"跟我一起读论文啦啦",上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文,欢迎关注!本博文将总结和讨论下spark中join操作的优化操作。简介Join操作是spark中比较重要和常用的操作,无论是Spark Core还是Spark SQL都支持一些基础的join操作。但是join操作需要特殊的性能考虑,因为他们需要较大的网络传输,甚至会创建出...

2020-02-09 23:15:10 86

原创 Spark性能优化 -- > Spark SQL、DataFrame、Dataset

博客内容将首发在微信公众号"跟我一起读论文啦啦",上面会定期分享机器学习、深度学习、数据挖掘、自然语言处理等高质量论文,欢迎关注!本博文将详细分析和总结Spark SQL及其DataFrame、Dataset的相关原理和优化过程。Spark SQL简介Spark SQL是Spark中 具有 大规模关系查询的结构化数据处理 模块。spark sql支持大规模的分布式内存计算,并且模糊了RD...

2020-01-31 23:37:41 376

原创 spark性能优化 -- > spark工作原理

从本篇文章开始,将开启spark学习和总结之旅,专门针对如何提高spark性能进行总结,力图总结出一些干货。无论你是从事算法工程师,还是数据分析又或是其他与数据相关工作,利用spark进行海量数据处理和建模都是非常重要和必须掌握的一门技术,我感觉编写spark代码是比较简单的,特别是利用Spark SQL下的DataFrame接口进行数据处理,只要有python基础都是非常容易入门的,但是在性能...

2020-01-12 22:51:54 195

原创 论文分享 -- > NLP -- > FreeLB

本次要总结和分享的是正在ICLR2020审稿的,关于NLU对抗学习的论文:FreeLB: Enhanced Adversarial Training for Language Understanding,论文链接 FreeLB,感觉该论文方法创新和实验效果均还不错,由于本人在对抗学习领域上水平有限,在此就对本篇论文进行一个浅显的解读,如有错误还望指正。论文动机对抗训练的初衷:目前人工智能技术...

2019-12-15 20:09:37 1014

原创 论文分享 -- >Graph Embedding -- > LINE: Large-scale Information Network Embedding

本次要总结和分享的论文是 LINE: Large-scale Information Network Embedding,其链接 论文,所参考的实现代码 code,这篇论文某些细节读起来有点晦涩难懂,不易理解,下面好好分析下。论文动机和创新点information network 在现实世界中无处不在,例如最常见的社交网络图。而这种网络通常包含 百万以上的节点和数以十亿记的边,如果能将这种...

2019-10-19 20:16:37 370

原创 论文分享-- >Graph Embedding-- > DeepWalk: Online learning of Social Representations

本次要分享的论文是14年论文DeepWalk: Online learning of Social Representations, 论文链接DeepWalk,参考的代码CODE,本论文是图表示学习领域内的一篇较早的文章,是学习本图表示学习绕不过的一篇文章,虽然整体难度不大,但是文章所提出的方法个人感觉非常独到和有趣。论文动机和创新点在自然语言处理领域,word2vec是一个非常基础和著名...

2019-10-02 13:02:09 342

原创 论文分享-- >异常检测-- >Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection

本文将总结分享ICLR2018论文 Deep Autoencoding Gaussian Mixture Model for Unsupervised Anomaly Detection,论文链接 DAGMM,参考的代码链接 CODE,本论文旨在将神经网络、EM与GMM有机结合起来,做无监督的异常检测,并且取得了不错的效果。论文动机和创新点异常检测的本质是通过密度估计找出离群点过程。...

2019-08-25 17:25:35 2385 1

原创 论文分享-- >序列挖掘-- > DEEP TEMPORAL CLUSTERING: FULLY UNSUPERVISED LEARNING OF TIME-DOMAIN FEATURES

因为业务需求,私下学习了些序列数据的处理算法,本文将总结ICLR2018论文:DEEP TEMPORAL CLUSTERING: FULLY UNSUPERVISED LEARNING OF TIME-DOMAIN FEATURES,论文链接DTC,参考的论文代码 DeepTemporalClustering,本论文方法是完全针对时序数据的无监督聚类算法,是第一次提出在无标签的时序数据上,建立了一...

2019-07-04 00:26:02 1408 3

原创 论文分享 -- > NLP -- > Neural machine Translation of Rare Words with Subword Units

本次分享的是一篇16年的关于NLP中分词操作的论文,论文链接Subword,参考的实现代码subword-nmt,许多论文方法(例如BERT等)都将该方法应用到分词处理上,相对于word-level和character-level,该方法取得了不错的效果。动机和创新点机器翻译中,通常使用固定大小的词表,而在实际翻译场景中,应当是open-vocabulary。这就使得翻译数据集中的稀有词变得...

2019-06-09 18:09:46 1436 1

原创 论文分享 -- > NLP -- > Language Models are Unsupervised Multitask Learners

本次要总结和分享的论文是GPT2,参考的实现代码model。本论文方法是在openAI-GPT的基础上进行了一些微小的修改得到的,从模型的角度来讲,几乎没有修改,只是去掉了fine-tune过程,无论是在预训练和预测阶段都是完全的无监督,这点有点不可思议,但是的确做到了,而且效果还不错。网上对这篇论文的讲解非常多,这里本人就讲下自己浅薄的见解。本篇论文的核心思想并不难,但是我个人感觉论文读起来比...

2019-06-01 01:32:05 485

原创 深度学习-- > NLP -- > improving multi-task deep neural networks via knowledge distillation for natural

本次总结和分享一篇大佬推荐看的论文improving multi-task deep neural networks via knowledge distillation for natural language understanding, 论文链接MT-DNN-KD动机和创新点集成学习的方法对提高模型的泛化能力在众多自然语言理解任务上已经得到了验证但是对于多个深度模型集成而成的集成模型...

2019-05-22 21:09:25 581

原创 深度学习 -- > NLP-- > BERT

本次分享和总结自己所读的论文BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding,也就是大名鼎鼎的BERT,网上对这篇论文的解读非常多,在此就提下自己浅薄的见解。论文链接 BERT论文动机以及创新点语言模型的预训练已经在自然语言处理的各项任务上取得了有目共睹的效果。目前有两种途...

2019-05-18 17:37:13 761

原创 深度学习 -- > NLP -- >Improving Language Understanding by Generative Pre-Training

本文要分享总结的是论文Improving Language Understanding by Generative Pre-Training,论文链接openAI-GPT.论文动机以及创新点现实世界中,无标签的文本语料库非常巨大,而带有标签的数据则显得十分匮乏,如何有效利用无标签的原始文本,对缓解自然语言处理相关任务对有监督学习方式的依赖显得至关重要。有效的从无标签文本中利用超单词级...

2019-05-07 17:23:05 2298 1

原创 深度学习 -- >NLP -- > Deep contextualized word representations(ELMo)

本文将分享发表在2018年的NAACL上,outstanding paper。论文链接ELMo。该论文旨在提出一种新的词表征方法,并且超越以往的方法,例如word2vec、glove等。论文贡献点能捕捉到更复杂的语法、语义信息。能更好的结合上下文内容,对多义词做更好的表征。(以往的词表征方法,例如word2vec等可能无法很好的解决这个问题)能非常容易的将这种词表征方法整合进现有的模型中...

2019-04-29 20:44:17 345

原创 论文分享--- >Learning to Rank: From Pairwise Approach to Listwise Approach

本篇博文分享和总结下论文Learning to Rank:From Pairwise Approach&nbsp

2018-09-20 19:39:42 2089 5

原创 论文分享-- >From RankNet to LambdaRank to LambdaMART: An Overview

严格来说,这并不是一篇论文,只是一个reportreportreport ,里面系统的介绍了三个比较著名的排序模型RankNet、LambdaRank、LambdaMARTRankNet、LambdaRank、LambdaMARTRankNet、LambdaRank、LambdaMART ,链接 Rank本篇博文将分析总结下前两个排序模型RankNet、LambdaRankRankNet、La...

2018-09-20 19:39:27 1919

原创 常用优化方法总结

本篇博文总结一些常用的优化算法。SGD最常见的优化方法是SGDSGDSGD ,基础的原理不详细讲了,讲下其缺陷。 θ=θ−η∗▿θJ(θ)θ=θ−η∗▽θJ(θ)\theta = \theta-\eta *\triangledown_{\theta} J(\theta) 1. 当学习率太小,到达最优点会很慢。 2. 当学习率太高,可能会跳过最优点,出现震荡的现象。 3. ...

2018-05-27 17:26:57 869

原创 评价指标总结

本篇博文主要总结下机器学习,深度学习,自然语言处理里面的一些的评价指标及其背后的原理。机器学习分类问题精确率 (Precision)TPTP+FPTPTP+FP\frac{TP}{TP+FP} 可以这样理解准确率:分母是我们这边所有预测为真的数量,包括正确预测为真的和错误预测为真的。召回率 (recall)TPTP+FNTPTP+FN\frac{TP}{TP+...

2018-05-27 15:31:03 1387

原创 RL for Sentence Generation

本篇博文主要总结下台大教授李宏毅深度学习课程中关于seqGANseqGANseqGAN 的相关内容,并且添加了自己的一些思考。Policy Gradient众所周知,强化学习的目标就是Maximizing Expected RewardMaximizing Expected RewardMaximizing\ Expected\ Reward,在se...

2018-05-22 17:27:38 324

原创 Adversarial Learning for Neural Dialogue Generation 代码分析

作为一名NLPlayerNLPlayerNLPlayer 初学者,或者是一名道行不是很深的NLPlayerNLPlayerNLPlayer ,很有必要细细的评读相关优秀的论文,但是如果只是读论文,而不去探索实际的代码的实现,可能无法提高代码能力,也比较难的深刻理解论文中的一些细节,所以在读完论文后,详细的分析其开源代码,了解整个的实现过程非常有必要。那么代码需要分析到什么程度呢?我的实习经历告...

2018-05-18 16:33:42 2030 6

原创 论文分享-- >Adversarial Learning for Neural Dialogue Generation

本次要分享的论文是Adversarial Learning for Neural Dialogue GenerationAdversarial Learning for Neural Dialogue GenerationAdversarial\ Learning\ for\ Neural\ Dia...

2018-05-17 14:52:32 1015

原创 论文分享-- >SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient

本次要分享和总结的论文为:SeqGAN:SequenceGenerativeAdversarialNetswithPolicyGradientSeqGAN:\ Sequence\ Generative\ Adversarial\ Nets\ with\ Policy\ Gradient,其论文链接SeqGAN,源自AAAI−17AAAI-17,参考的实现代码链接代码实现。本篇论文

2018-05-10 23:42:19 3604 5

原创 强化学习-->Deep Reinforcement Learning

因为逐渐有人将强化学习应用到NLPNLP 的任务上,有必要了解一些强化学习基础知识,本篇博文总结自台大教授李宏毅关于深度学习的公开课内容。我们可以以上图来理解强化学习过程,我们机器人agentagent 通过observationobservation 了解到环境的 StateState,采取一些ActionAction ,并且改变当前的环境,然后环境会反馈正向或负向的rewardreward 给a

2018-05-08 23:46:16 374

原创 论文分享-->Attention-over-Attention Neural Networks for Reading Comprehension

本次要分享的论文是Attention−over−AttentionNeuralNetworksforReadingComprehensionAttention-over-Attention\ Neural\ Networks\ for\ Reading\ Comprehension,论文链接AoA,论文源自ACL2017ACL2017,参考的实现代码代码链接。 好了,老规矩,带着代码看论

2018-05-07 21:06:29 493 1

原创 论文分享-->GloVe: Global Vectors for Word Representation

本次要分享和总结的论文是GloVe:Global Vectors for Word RepresentationGloVe: Global\ Vectors\ for\ Word\ Representation,这是一篇介绍新的word Representationword\ Representation 方法,该方法现在越来越常被提起,其主要对标的是word2Vecword2Vec方法,论文链接G

2018-05-03 23:19:53 5444 4

原创 论文分享-- >Attention is all you need

本次分享的论文是鼎鼎有名的attentionisallyouneedattention\ is\ all\ you\ need,论文链接attention is all you need,其参考的tensorflowtensorflow 实现代码tensorflow代码实现。自己水平有限,在读这篇论文和实现代码时,感觉比较吃力,花了两三天才搞懂了一些,在此总结下。废话不多说,直接带着代码看论

2018-04-30 17:03:36 1268 3

原创 tensorflow-- >论文代码阅读总结

张量介绍在tensorflowtensorflow中我们要处理的张量通常有二维,三维,甚至四维,那么该如何判断给定张量的维度呢?以及各个维度上的大小呢?简单来说,从给定张量的最外层开始,判断次外层相同等级的括号,有几对,如有nn对,则nn为该张量第一个维度上的大小,然后依次同理向内层。例如[[1,2,3],[4,5,6]][\ [1, 2, 3], \ [4, 5, 6]]的shapeshape

2018-04-30 11:07:33 614

原创 论文分享-- >word2Vec论文总结

一直以来,对word2vecword2vec,以及对 tensorflowtensorflow 里面的wordEmbeddingwordEmbedding底层实现原理一直模糊不清,由此决心阅读word2Vecword2Vec的两篇原始论文,EfficientEstimationofWordRepresentationsinVectorSpaceEfficient\ Estimation

2018-04-26 15:33:51 5136 3

原创 论文分享-->Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN

本周开始,我将一周分享和总结三篇关于自然语言处理方面的论文及其开源代码(如果有的话),以期在三个月后的校招面试中能招架住面试官的各种提问。本篇论文中了CVPR2018CVPR\ 2018,提出了一种新型的 RNNRNN 模型,论文实验显示相对于传统的RNNRNN以及LSTMLSTM、GRUGRU,它在更长步长的数据集上有更好的表现,克服了传统 RNNRNN 的一些缺点,具体总结分析请看下面。传统

2018-04-24 17:12:19 1610

原创 深度学习-->NLP-->Seq2Seq Learning(Encoder-Decoder,Beam Search,Attention)

之前总结过RNNLMRNNLM,是一个SequenceModel,其结构类似如下:这里面是一个一个的输出。我们如果以这种方式做机器翻译,每一个时刻输入一个词,相应的翻译一个词,显然这种一个一个单词的翻译方式不是很好,因为没有联系上下文进行翻译。我们希望先把一整句话喂给模型,然后模型在这一个整句的角度上来进翻译。这样翻译的效果更好。所以本篇博文要总结的是Seq2Seq Model,给出一个完整的句子,

2017-11-22 23:48:26 2865

原创 深度学习-->NLP-->RNNLM实现

本篇博文将详细总结RNNLMRNNLM 的原理以及如何在tensorflowtensorflow 上实现RNNLMRNNLM。我们要实现的网络结构如下:数据预处理创建vocabvocab分词:将句子中的每个单词以空格,符号分开,形成一个单词列表def blank_tokenizer(sentence): ##以空格对句子进行切分 return sentence.strip().spl

2017-11-20 17:40:39 3254 1

原创 剑指offer读书总结-->面试所需的基础知识

本篇博文主要总结剑指offer上第二章一些没有说的很清楚的问题。常被问到的c++基础知识问题一: 类型转换问题在c++c++ 中有哪44 个与类型转换相关的关键字?各有什么特点?在哪些场合下使用?reinterpret_castreinterpret\_caststatic_caststatic\_castdynamic_castdynamic\_castconst_cas

2017-11-19 11:49:58 581

原创 深度学习-->NLP-->NNLM简介

本篇博文将总结NLPNLP 里面的embeddingembedding,word2vectorword2vector,以及NNLMNNLM 的简介。embedding在一般任务中,我们总是非常自然的用特征值来表示一个词汇。但是,到底怎么样表示一个词,才是最合理的? 存储其ASCIIASCII 码表示,只会告诉你这个词是什么,并不能表示这个词真正的语义(也许你可以从这个词的词缀中获得该词的词性或其他属

2017-10-13 09:26:40 1038

原创 深度学习-->NLP-->语言模型

从本篇博文开始总结NLPNLP相关知识。概率语言模型(StatisticalLanguageModel)(Statistical\ Language\ Model)p(sentence)=p(w1,w2,..,wn){p}(sentence)={p}({w}_{1},{w}_{2},..,{w}_{n})∑sentence∈Lp(sentence)=1\sum_{sentence\in L}^{

2017-10-12 18:17:11 705

空空如也

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人 TA的粉丝

提示
确定要删除当前文章?
取消 删除