自然语言处理
sakura小樱
这个作者很懒,什么都没留下…
展开
-
深度学习----自然语言处理之Word2Vec原理
一、原理图翻译 2018-08-16 19:58:05 · 463 阅读 · 0 评论 -
深度学习----命名实体识别与关系抽取总结
参考:https://blog.csdn.net/qq_36426650/article/details/84668741#t6 ~~~~~~~~~~ &原创 2019-02-22 13:49:21 · 6580 阅读 · 4 评论 -
深度学习----命名实体识别(CRF及变种)
<h1 class="entry-title"> <a href="http://www.52nlp.cn/%e4%b8%80%e6%96%87%e8%af%a6%e8%a7%a3%e6%b7%b1%e5%ba%a6%e5%ad%a6%e4%b9%a0%e5%9c%a8%e5%91%bd%e5%90%8d%e原创 2019-02-13 15:42:23 · 5490 阅读 · 1 评论 -
jieba分词原理
文章目录一、 jieba系统简介二、 jieba系统框架三、jieba分词原理四、jieba分词过程结巴分词基础:https://blog.csdn.net/Sakura55/article/details/84752000一、 jieba系统简介"结巴"中文分词:做最好的Python中文分词组件。特点:支持三种分词模式支持繁体分词支持自定义词典MIT授权协议涉及算法:&nb...原创 2019-03-07 09:50:31 · 3057 阅读 · 0 评论 -
深度学习----Tensorflow再命名实体上常用的函数
函数作用tf.contrib.crf.crf_log_likelihood()        ~~~~~~~~     &nbsp原创 2019-03-12 10:10:04 · 422 阅读 · 0 评论 -
交叉熵与KL散度(相对熵)总结比较
文章目录关于交叉熵在loss函数中使用的理解信息论1 信息量2 熵3 相对熵(KL散度)4 交叉熵机器学习中交叉熵的应用1 为什么要用交叉熵做loss函数?2 交叉熵在单分类问题中的使用3 交叉熵在多分类问题中的使用参考: ~~~~~ https://blog.csdn.net...原创 2019-03-12 10:58:16 · 1661 阅读 · 3 评论 -
人工智能 = 人工智障(史上最全的人工智能机器学习、深度学习教程合集目录)
文章目录机器学习激活函数和函数偏差(bias)感知器回归梯度下降生成学习反向传播深度学习最优化和降维长短期记忆(LSTM)卷积神经网络(CNN)递归神经网络(RNN)强化学习生成对抗网络(GAN)多任务学习NLP深度学习和NLP词向量编码器-解码器Python实战案例Scipy和numpyscikit学习TensorflowPyTorch数学线性代数概率论微积分我将这篇文章分为四个部分:机器学习...转载 2019-03-25 11:49:37 · 941 阅读 · 0 评论 -
金书------LiYu's personal knowledge wiki
原文地址:https://sthsf.github.io/wiki/#Algorithm-DeepLearning-Tensorflow学习笔记 About 关于这个wiki 短中长期计划 Algorithm ...翻译 2019-03-29 14:26:31 · 497 阅读 · 0 评论 -
深度学习------Lingvo框架下的加速通道GPipe
开源地址:https://github.com/tensorflow/lingvo/blob/master/lingvo/core/gpipe.pyBigGan、BERT和GPT-2的出现表明,越大的神经网络模型可以带来越好的性能。其中能写出各种假新闻的GPT-2参数就有15亿个之多。如果你也在训练一个参数超多的模型,那么现在有个好消息要告诉你。谷歌在最近公布的Lingvo框架下开源了GP...转载 2019-03-26 16:29:15 · 1063 阅读 · 0 评论 -
深度学习----目标检测R-CNN发展(一张图说清)
详解链接:https://blog.csdn.net/Sakura55/article/details/81939034原创 2019-03-28 14:42:29 · 434 阅读 · 0 评论 -
深度学习------NLP之依存语法综述
文章目录@[toc]一、概述依存句法分析标注关系 (共14种) 及含义依存句法分析通常满足3个约束依存句法准确率指标二、基于图的依存句法分析代表Chu-Liu/Edmonds Algorithm算法流程三、基于转移的依存句法分析Transition-based parsing(基于贪心决策动作拼装句法树)PCFG(概率上下文无关文法)Lexical PCFG(基于词典的PCFG)四、基于深度学习技...原创 2019-04-03 15:25:13 · 3404 阅读 · 1 评论 -
超越BERT、GPT------屏蔽序列到序列预训练MASS(原理篇)
文章目录1、前言2、新的与训练方法——MASS3、统一的与训练框架序列到序列自然语言生成任务实验微软研究院 AI 头条,转:https://mp.weixin.qq.com/s/0bU6_nsVzi6s6VyO8Y6s2A论文地址:https://arxiv.org/pdf/1905.02450.pdf1、前言 &nb...原创 2019-05-13 10:23:56 · 1509 阅读 · 0 评论 -
深度学习----NLP-TextRank的textrank4zh模块源码解读
文章目录1. textrank4zh模块源码解读2 textrank4zh模块的使用2.1 textrank4zh模块的安装2.2 textrank4zh的使用实例1)提取关键词、关键短语和关键句2)展示textrank4zh模块的三种分词模式的效果TextRank算法是一种文本排序算法,由谷歌的网页重要性排序算法PageRank算法改进而来,它能够从一个给定的文本中提取出该文本的关键词、关键...原创 2019-06-19 09:40:30 · 2229 阅读 · 0 评论 -
深度学习----Transformer模型之精简理解篇
文章目录1、整体架构2、Attention机制3、Position-wise Feed-Forward network4、Positional encoding5、Residual connection6、Layer Normalization7、Mask     &amp原创 2019-01-29 16:26:55 · 5692 阅读 · 7 评论 -
深度学习----Stanford nlp安装以及环境变量配置问题
文章目录PART1:安装Stanford NLPPART2:安装过程问题1)安装包问题2)路径设置3)环境变量PART3:词性标注测试官网下载:https://stanfordnlp.github.io/CoreNLP/index.html#download      ~~~~~~  &原创 2019-02-15 11:04:41 · 3432 阅读 · 5 评论 -
人工智能论文合集
机器学习、NLP、Python、数学。。最全的AI学习资源都在这了!! AI科技大本营 2018-08-20 12:07 关注文章 资料整理 收集这些资源的作者 ,Robbie Allen,Infini...原创 2018-08-20 19:16:04 · 6159 阅读 · 1 评论 -
人工智能论文合集(18年11月)
分享一些NLP相关的论文,简要对摘要做了翻译 Streaming Graph Neural Networks 摘要:图是许多真实世界数据的基本表示,如社交网络。近年来,人们越来越努力将神经网络模型扩展到图形结构数据。这些通常被称为图神经网络的方法已...翻译 2018-11-23 16:54:33 · 2215 阅读 · 0 评论 -
梯度消失与梯度膨胀,以及6种解决措施
我无意中看到一篇公众号,挺不错,就写下来了1.梯度消失根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都小于1的话,那么即使这个结果是0.99,在经过足够多层传播之后,误差对输入层的偏导会趋于0。这种情况会导致靠近输入层的隐含层神经元调整极小。2.梯度膨胀根据链式法则,如果每一层神经元对上一层的输出的偏导乘上权重结果都大于1的话,在经过足够多层传播之后,误差对输入层的偏导会趋于无穷...转载 2018-11-27 18:46:54 · 3716 阅读 · 1 评论 -
深度学习----NLP关键词抽取的常见算法
文章目录方法分类NO.1、文本关键词提取算法基于统计特征的关键词提取算法1、基于词`权重`的特征量化2、基于词的`文档位置`的特征量化3、基于词的`关联信息`的特征量化NO.2、文本关键词提取算法基于词图模型的关键词抽取算法1、综合特征法2、系统科学法NO.3、文本关键词提取算法基于主题模型的关键词抽取NO.4、文本关键词提取算法NO.5、文本关键词提取算法方法分类关于文本的关键词提取方法分为...原创 2018-12-20 16:27:04 · 25145 阅读 · 5 评论 -
深度学习----基于keras的LSTM三分类的文本情感分析原理及代码
背景介绍文本情感分析作为NLP的常见任务,具有很高的实际应用价值。本文将采用LSTM模型,训练一个能够识别文本postive, neutral, negative三种情感的分类器。 本文的目的是快速熟悉LSTM做情感分析任务,所以本文提到的只是一个baseline,并在最后分析了其优劣。对于真正的文本情感分析,在本文提到的模型之上,还可以做很多工作,以后有空的话,笔者可以再做优化。理论介绍...原创 2018-12-21 11:44:09 · 14868 阅读 · 3 评论 -
深度学习----NLP-fastext原理细解
文章目录@[toc]1. 前言2. FastText原理2.1 模型架构2.2 层次SoftMax2.3 N-gram子词特征3. fastText和word2vec的区别4. 总结出处: https://www.cnblogs.com/huangyc/p/9768872.html1. 前言自然语言处理(NLP)是机器学习,人工智能中的一个重要领域。文本表达是 NLP中的基础技术,文本分类则...转载 2018-12-24 15:58:22 · 2273 阅读 · 0 评论 -
深度学习----NLP-ELMO算法模型解剖
文章目录简介Bidirectional 语言模型(1) forward language model(前向语言模型) and (2)backword language model(2)biLM(bidirectional language model)过程图线性组合总结论文地址:https://arxiv.org/pdf/1802.05365.pdf简介 ...原创 2018-12-24 17:03:40 · 2135 阅读 · 1 评论 -
深度学习----NLP-TextRank算法详解
文章目录1. PageRank算法2. TextRank算法提取关键词3. TextRank算法提取关键词短语4. TextRank生成摘要5. 共现矩阵 ~~~~~~~~ 今天要介绍的Tex原创 2019-01-04 10:47:20 · 4580 阅读 · 0 评论 -
深度学习----NLP结巴分词词性大全
jieba为自然语言语言中常用工具包,jieba具有对分词的词性进行标注的功能,词性类别如下:格式词性解释Ag形语素形容词性语素。形容词代码为 a,语素代码g前面置以A。a形容词取英语形容词 adjective的第1个字母。ad副形词直接作状语的形容词。形容词代码 a和副词代码d并在一起。an名形词具有名词功能的形容词。形容词代码 a和名词...原创 2019-01-04 11:40:13 · 900 阅读 · 0 评论 -
深度学习----NLP-TextCNN文本分类解读
文章目录1简介2.参数与超参数3.Embedding Layer4.Convolution Layer5.Max-Pooling Layer6.SoftMax 分类 Layer7.小的变种8 . Text CNN 的tf实现9. 与 LeNet 作比较10. TextCNN 论文中的网络结构1简介TextCNN 是利用卷积神经网络对文本进行分类的算法,由 Yoon Kim 在 “Convol...原创 2019-01-15 10:41:37 · 1331 阅读 · 0 评论 -
深度学习----Transformer模型之图示进阶篇
        Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》,提出解决sequence to sequence问题的transformer模型,用全attention的结构代替了lstm,抛弃了之前传统的encoder-decoder模型必须结合cnn或者rn...转载 2019-01-28 16:54:37 · 10458 阅读 · 0 评论 -
超越BERT的广义自回归预训练方法——XLNET
原文地址:https://blog.csdn.net/qq_31456593/article/details/93015488–摘要:凭借对双向上下文进行建模的能力,与基于自回归语言建模的预训练方法相比,基于BERT的基于自动编码的预训练实现了更好的性能。然而,依赖于对输入使用掩码,BERT忽略了屏蔽位置之间的依赖性,并且受到预训练 - 微调差异的影响。根据这些优点和缺点,我们提出了XLNe...转载 2019-06-20 16:16:22 · 1097 阅读 · 0 评论