自然语言处理
文章平均质量分 76
shelleyHLX
这个作者很懒,什么都没留下…
展开
-
文本标注工具测试
参考文档:https://mp.weixin.qq.com/s?__biz=MzI1MjQ2OTQ3Ng==&mid=2247486935&idx=1&sn=3beffc58b1360a2891c74539e35d2295&chksm=e9e2045cde958d4ac8a69d29d511a133155eeab2c062711cec45a2303789587195979c31bd6a&mpshare=1&scene=1&srcid=1126rUi转载 2020-12-04 09:50:16 · 543 阅读 · 0 评论 -
ABCNN: Attention-Based Convolutional Neural Network for Modeling Sentence Pairs
文章目录AbstractAbstractHow to model a pair of sentences is a criticalissue in many NLP tasks such as answer selection (AS), paraphrase identification (PI) andtextual entailment (TE). Most prior work ...原创 2019-10-29 16:36:41 · 869 阅读 · 0 评论 -
Word2Vec Tutorial - The Skip-Gram Model
翻译自:http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/1 模型skip-gram神经网络模型事实上很简单,仅训练一个有一层隐含层的简单网络来完成任务。但我们不使用这个网络,而是要隐含层的权重,这个就是我们要的词向量。可以在自动编码器看到这种做法,在隐含层压缩输入向量,然后在输出层解压缩获得原始向量,训...原创 2018-02-26 11:06:08 · 358 阅读 · 0 评论 -
python + sklearn ︱分类效果评估——acc、recall、F1、ROC、回归、距离
转自:http://blog.csdn.net/sinat_26917383/article/details/75199996?locationNum=3&fps=1http://www.cnblogs.com/robert-dlut/p/5276927.htmlhttp://d0evi1.com/sklearn/model_evaluation/谈谈评价指标中的宏平均和微平均谈谈评价指标...转载 2018-02-17 15:30:06 · 9641 阅读 · 0 评论 -
jieba完整文档
转自:http://blog.csdn.net/qq_27231343/article/details/51898940jieba“结巴”中文分词:做最好的 Python 中文分词组件"Jieba" (Chinese for "to stutter") Chinese text segmentation: built to be the best Python Chinese word segme...转载 2018-03-01 10:12:22 · 909 阅读 · 0 评论 -
隐形马尔可夫模型 Hidden Markov Model
作者:Yang Eninala链接:https://www.zhihu.com/question/20962240/answer/33438846来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。隐马尔可夫(HMM)好讲,简单易懂不好讲。我认为 @者也的回答没什么错误,不过我想说个更通俗易懂的例子。我希望我的读者不是专家,而是对这个问题感兴趣的入门者,所以我会多阐述数学...转载 2018-02-22 15:22:52 · 2146 阅读 · 0 评论 -
隐马尔可夫模型(HMM)实现分词
转自:http://blog.csdn.net/zkl33a/article/details/68927132隐马尔可夫模型(HMM)实现分词最近在调研分词的一些工作,又重新看了一遍HMM,发现原来之前看过的,竟然给忘的干干净净!之前看的,真是喂了狗了,于是决定把这次的理解记录下来,俗话说,好记性不如赖笔头嘛。第一次写博客,以下纯属个人理解,如果有误,请指正~模型的定义HMM(Hidden Mar...转载 2018-02-22 18:06:30 · 1705 阅读 · 0 评论 -
隐马尔可夫模型(HMM)攻略
转自:http://blog.csdn.net/likelet/article/details/7056068隐马尔可夫模型 (Hidden Markov Model,HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中,随后在语言识别,自然语言处理以及生物信息等领域体现了很大的价值。平时,经常能接触到涉及 HMM 的相关文章,一直没有仔细研究过,都是蜻蜓点水,因此,想...转载 2018-02-22 19:32:29 · 221 阅读 · 0 评论 -
4.Hard-Margin Support Vector Machines
原创 2018-03-01 17:48:16 · 224 阅读 · 0 评论 -
李政軒Cheng-Hsuan Li的关于机器学习一些算法的中文视频教程
转自: http://blog.csdn.net/songzitea/article/details/24854507本节是李政軒Cheng-Hsuan Li的关于机器学习一些算法的中文视频教程。讲得很好不错,这里非常感谢他的分享:http://www.powercam.cc/chli。也贴到这里,和大家共同学习。Clustering Fuzzy C-Means 基本概念(第1部分) Fuzz...转载 2018-03-01 21:12:10 · 942 阅读 · 1 评论 -
IndexError: index 6 is out of bounds for axis 1 with size 6
错误:Using TensorFlow backend.Traceback (most recent call last): File "E:/Python3Doc/APIdocs/kerasMy/to-cat.py", line 7, in <module> y_train_use = np_utils.to_categorical(y_train, num_classes=...原创 2018-03-02 21:23:08 · 50547 阅读 · 2 评论 -
word2vec 原理
转自:http://www.cnblogs.com/iloveai/p/word2vec.htmlSVD分解:低维词向量的间接学习既然基于co-occurrence矩阵得到的离散词向量存在着高维和稀疏性的问题,一个自然而然的解决思路是对原始词向量进行降维,从而得到一个稠密的连续词向量。第一个出场的对原始矩阵进行降维的方法是奇异值分解(SVD)。SVD的基本思想是,通过将原co-occurrence...转载 2018-02-24 11:36:24 · 3467 阅读 · 0 评论 -
机器学习中的数学(5)-强大的矩阵奇异值分解(SVD)及其应用
版权声明: 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系wheeleast@gmail.com。也可以加我的微博: @leftnoteasy前言: 上一次写了关于PCA与LDA的文章,PCA的实现一般有两种,一种是用特征值分解去实现的,一种是用奇异值分解去实现的。在上...转载 2018-02-24 11:51:32 · 552 阅读 · 1 评论 -
潜在语义分析Latent Semantic Analysis (LSA)
转自:http://blog.csdn.net/roger__wong/article/details/41175967在Wiki上看到的LSA的详细介绍,感觉挺好的,遂翻译过来,有翻译不对之处还望指教。原文地址:http://en.wikipedia.org/wiki/Latent_semantic_analysis前言浅层语义分析(LSA)是一种自然语言处理中用到的方法,其通过“矢量语义空间”...转载 2018-02-24 14:31:04 · 7361 阅读 · 0 评论 -
Singular Value Decomposition
from: http://www.ams.org/publicoutreach/feature-column/fcarc-svdIntroductionThe topic of this article, the singular value decomposition, is one that should be a part of the standard mathematics underg...转载 2018-02-24 14:41:03 · 984 阅读 · 0 评论 -
Principal component analysis --- PCA的数学原理
转自:http://blog.codinglabs.org/articles/pca-tutorial.htmlPCA(Principal Component Analysis)是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示,可用于提取数据的主要特征分量,常用于高维数据的降维。网上关于PCA的文章有很多,但是大多数只描述了PCA的分析过程,而没有讲述其中的原理...转载 2018-02-24 15:00:50 · 202 阅读 · 0 评论 -
机器学习中的算法(2)-支持向量机(SVM)基础
版权声明: 本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系wheeleast@gmail.com。也可以加我的微博: @leftnoteasy 前言: 又有很长的一段时间没有更新博客了,距离上次更新已经有两个月的时间了。其中一个很大的原因是,不知道写什么好-_-,最近一...转载 2018-02-24 15:24:01 · 200 阅读 · 0 评论 -
Principles of training multi-layer neural network using backpropagation 使用后向传播算法训练多层神经网络的规则
转自:http://home.agh.edu.pl/~vlsi/AI/backp_t_en/backprop.htmlThe project describes teaching process of multi-layer neural network employing backpropagation algorithm. To illustrate this process the thre...原创 2018-03-03 14:26:12 · 578 阅读 · 0 评论 -
网址
Calculus on Computational Graphs: Backpropagation:http://colah.github.io/posts/2015-08-Backprop/Understanding LSTM Networkshttp://colah.github.io/posts/2015-08-Understanding-LSTMs/Understanding Convol...原创 2018-03-03 20:35:03 · 232 阅读 · 0 评论 -
基于神经网络的实体识别和关系抽取联合学习
转载:http://www.cnblogs.com/DjangoBlog/p/6782872.html 联合学习(Joint Learning)一词并不是一个最近才出现的术语,在自然语言处理领域,很早就有研究者使用基于传统机器学习的联合模型(Joint Model)来对一些有着密切联系的自然语言处理任务进行联合学习。例如实体识别和实体标准化联合学习,分词和词性标注联合学习等等。最近,研究者们在...转载 2018-04-22 12:54:54 · 1298 阅读 · 0 评论 -
神经网络在关系抽取中的应用
一、关系抽取简介信息抽取的主要目的是将非结构化或半结构化描述的自然语言文本转化成结构化数据(Structuring),关系抽取是其重要的子任务,主要负责从文本中识别出实体(Entities),抽取实体之间的语义关系。如:句子“Bill Gates is the founder of MicrosoftInc.”中包含一个实体对(Bill Gates, Microsoft Inc.),这两个实体对之...转载 2018-04-24 15:49:45 · 327 阅读 · 0 评论 -
基于神经网络的实体识别和关系抽取联合学习
转自:https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/79466011联合学习(Joint Learning)一词并不是一个最近才出现的术语,在自然语言处理领域,很早就有研究者使用基于传统机器学习的联合模型(Joint Model)来对一些有着密切联系的自然语言处理任务进行联合学习。例如实体识别和实体标准化联合学习,分词和词性标注联...转载 2018-04-24 15:50:31 · 510 阅读 · 0 评论 -
文本处理方法概述
转自:https://www.cnblogs.com/arachis/p/text_dig.html说明:本篇以实践为主,理论部分会尽量给出参考链接摘要: 1.分词 2.关键词提取 3.词的表示形式 4.主题模型(LDA/TWE) 5.几种常用的NLP工具简介 6.文本挖掘(文本分类,文本标签化) 6.1 数据预处理 6.2 关于文本的特征工程 6.3 关于文本...转载 2018-05-09 15:39:28 · 3562 阅读 · 0 评论 -
知识图谱相关会议之观后感分享与学习总结
2015年6月27日,清华大学FIT楼多功能报告厅,中国中文信息学会青年工委系列学术活动——知识图谱研究青年学者研讨会。 由于我毕设是与知识图谱、实体消歧、实体对齐、知识集成相关的,所以去听了这个报告;同时报告中采用手写笔记,所以没有相应的PPT和原图(遗憾),很多图是我自己画的找的,可能存在遗漏或表述不清的地方,请海涵~很多算法还在学习研究中,最后希望文章对大家有所帮助吧!感谢那些...转载 2018-04-25 17:18:00 · 498 阅读 · 0 评论 -
分类问题-----多标签(multilabel)、多类别(multiclass)
转自:大致上,解决multilabel的方法有两种1)转化问题。把问题转化为一个或多个单目标分类问题,或是回归问题。2)算法适应。修改学习算法使得能直接处理multilabel的数据。问题转化方法 dubbed PTx法。包括PT1 对有多标签的数据随机选取一个标签 PT2 直接把标签数大于1的都丢掉PT3 对标签集合进行排列组合,即组合好的成为一个新的单标签PT4 把一个含有L个标签的训练转化为...转载 2018-05-10 11:24:54 · 61056 阅读 · 8 评论 -
文本特征提取和向量化
转自:https://fancoo.wordpress.com/2016/03/09/三-文本特征提取和向量化/在(二)中,我已经能获取每个词条在百度搜索下的结果。我将所有的可疑词条的百度搜索结果保存为文件。每一行文本是一个词条的搜索结果。例如,我有728个可以词条,那么我将保存728行文本,现在我们要提取出每一行文本中的特征词。接下来的操作依次是:标记正负样本并下载它们的全部文本对文本进行分词通...转载 2018-05-21 17:08:47 · 6030 阅读 · 0 评论 -
[NLP] 秒懂词向量Word2vec的本质
转自我的公众号: 『数据挖掘机养成记』1. 引子大家好我叫数据挖掘机皇家布鲁斯特大学肄业我喝最烈的果粒橙,钻最深的牛角尖——执着如我今天我要揭开Word2vec的神秘面纱直窥其本质相信我,这绝对是你看到的最浅白易懂的 Word2vec 中文总结(蛤?你问我为啥有这个底气?且看下面,我的踩坑血泪史。。。)2. Word2vec参考资料总结(以下都是我踩过的坑,建议先跳过本节,阅读正文部分,读完全文回...转载 2018-05-28 10:32:19 · 856 阅读 · 0 评论 -
自然语言处理中的多模型深度学习
转自: https://blog.csdn.net/guohao_zhang/article/details/78966527这里先分享两个分享: 一个是用深度学习(CNN RNN Attention)解决大规模文本分类问题 - 综述和实践,另一个是 brightmart 的 text_classification,里面用 Keras 实现了很多文本分类的模型)以及...转载 2018-06-05 09:20:20 · 466 阅读 · 0 评论 -
word2vec Parameter Learning Explained
由word2vec获得的词向量代表可以捕获语义信息1. Continuous Bag-of-Word 模型现在只考虑仅一个词的上下文,也就是模型在给定一个词的上下文下仅预测一个目标,这很像一元模型,后向传播基础::输入值,w是权重,y是实数值输出,f叫连接函数,或是activation/decision/transferfunction...原创 2018-05-29 11:22:27 · 1165 阅读 · 1 评论 -
深度学习笔记——RNN(LSTM、GRU、双向RNN)学习总结
https://blog.csdn.net/mpk_no1/article/details/72875185RNN( Recurrent Neural Networks循环神经网络)循环神经网络的主要用途是处理和预测序列数据,在全连接神经网络或卷积神经网络中,网络结果都是从输入层到隐含层再到输出层,层与层之间是全连接或部分连接的,但每层之间的结点是无连接的。考虑这样一个问题,如果要预测句子的下一个...转载 2018-06-05 11:53:09 · 1397 阅读 · 0 评论 -
深度学习笔记——Word2vec和Doc2vec训练实例以及参数解读
https://blog.csdn.net/mpk_no1/article/details/72510655用gensim函数库训练Word2Vec模型有很多配置参数。这里对gensim文档的Word2Vec函数的参数说明进行翻译,以便不时之需。class gensim.models.word2vec.Word2Vec(sentences=None,size=100,alpha=0.025,win...转载 2018-05-29 13:47:31 · 1163 阅读 · 0 评论 -
基于gensim的Doc2Vec简析
转自:https://blog.csdn.net/lenbow/article/details/52120230摘要:本文主要描述了一种文章向量(doc2vec)表示及其训练的相关内容,并列出相关例子。两位大牛Quoc Le 和 Tomas Mikolov(搞出Word2vec的家伙)在2014年的《Distributed Representations of Sentences and Docu...转载 2018-05-29 13:58:59 · 450 阅读 · 0 评论 -
语义分析的一些方法(二)
2 文本语义分析前面讲到一些文本基本处理方法。一个文本串,对其进行分词和重要性打分后(当然还有更多的文本处理任务),就可以开始更高层的语义分析任务。2.1 Topic Model首先介绍主题模型。说到主题模型,第一时间会想到pLSA,NMF,LDA。关于这几个目前业界最常用的主题模型,已经有相当多的介绍了,譬如文献[60,64]。在这里,主要想聊一下主题模型的应用以及最新进展(考虑到LDA是pLS...转载 2018-06-05 16:38:32 · 570 阅读 · 0 评论 -
语义分析的一些方法(一)
语义分析,本文指运用各种机器学习方法,挖掘与学习文本、图片等的深层次概念。wikipedia上的解释:In machine learning, semantic analysis of a corpus is the task of building structures that approximate concepts from a large set of documents(or imag...转载 2018-06-05 16:40:17 · 2003 阅读 · 1 评论 -
语义分析的一些方法(三)
转自: http://www.flickering.cn/ads/2015/02/%E8%AF%AD%E4%B9%89%E5%88%86%E6%9E%90%E7%9A%84%E4%B8%80%E4%BA%9B%E6%96%B9%E6%B3%95%E4%B8%89/ 3 图片语义分析3.1 图片分类图片分类是一个最基本的图片语义分析方法。基于深度学习的图片分类传统的图片分...转载 2018-09-19 10:58:48 · 515 阅读 · 0 评论 -
自然语言处理中的Attention Model:是什么及为什么
/* 版权声明:可以任意转载,转载时请标明文章原始出处和作者信息 .*/ author: 张俊林 转自: https://blog.csdn.net/malefactor/article/details/50550211要是关注深度学习在自然语言处理方面的研究进展,我相信你一定听说...转载 2018-06-05 13:39:15 · 166 阅读 · 0 评论 -
自然语言处理领域的两种创新观念
/*版权声明:可以任意转载,转载时请务必标明文章原始出处和作者信息 .*/ 转自: https://blog.csdn.net/malefactor/article/details/1415328 自然语言处理领域的两种创新观念 张俊林 ...转载 2018-06-05 13:50:43 · 349 阅读 · 0 评论 -
word2vec是如何得到词向量的?
作者:crystalajj链接:https://www.zhihu.com/question/44832436/answer/266068967来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。前言word2vec是如何得到词向量的?这个问题比较大。从头开始讲的话,首先有了文本语料库,你需要对语料库进行预处理,这个处理流程与你的语料库种类以及个人目的有关,比如,如果是英...转载 2018-05-31 09:06:23 · 286 阅读 · 0 评论 -
Tensorflow 20.2 RNN lstm 循环神经网络(分类例子)
https://github.com/MorvanZhou/tutorials/blob/master/tensorflowTUT/tf20_RNN2.2/full_code.py# View more python learning tutorial on my Youtube and Youku channel!!!# Youtube video tutorial: https://ww...转载 2018-05-31 09:27:47 · 1022 阅读 · 0 评论 -
初学者如何查阅自然语言处理(NLP)领域学术资料
转自:http://blog.sina.com.cn/s/blog_574a437f01019poo.html昨天实验室一位刚进组的同学发邮件来问我如何查找学术论文,这让我想起自己刚读研究生时茫然四顾的情形:看着学长们高谈阔论领域动态,却不知如何入门。经过研究生几年的耳濡目染,现在终于能自信地知道去哪儿了解最新科研动态了。我想这可能是初学者们共通的困惑,与其只告诉一个人知道,不如将这些Folk K...转载 2018-06-28 11:55:14 · 852 阅读 · 0 评论