深度学习
文章平均质量分 52
少儿西笑
自然语言处理工程师
展开
-
情感分析工具测评
情感分析情感倾向分析针对带有主观描述的中文文本,可自动判断该文本的情感极性类别并给出相应的置信度。情感类型分为积极、消极、中性。情感倾向分析能够帮助企业理解用户消费习惯、分析热点话题和危机舆情监控,为企业提供有力的决策支持。本文主要对两个情感分析的工具进行测评。SnowNLP是一个python写的类库,可以方便的处理中文文本内容,是受到了TextBlob的启发而写的,由于现在大部分的自然语言处理库基本都是针对英文的,于是写了一个方便处理中文的类库,并且和TextBlob不同的是,这里没有用NLTK,所原创 2020-06-11 09:36:25 · 2113 阅读 · 0 评论 -
Bert应用于序列标注
NER命名实体识别(NER)(也称为实体识别、实体分块和实体提取)是信息提取的一个子任务,旨在将文本中的命名实体定位并分类为预先定义的类别,如人员、组织、位置、时间表达式、数量、货币值、百分比等。datahttps://www.kaggle.com/abhinavwalia95/entity-annotated-corpus/downloadMethods统计的方法机器学习统计和机器...原创 2019-11-15 16:39:38 · 1188 阅读 · 0 评论 -
XLNet简介
背景知识语言模型:自回归和自编码模式图示:黄色块为输入字符,蓝色块为字符的位置。对于自回归语言模型,它希望通过已知的前半句预测后面的词或字。对于自编码语言模型,它希望通过一句话预测被 Mask 掉的字或词,如上所示第 2 个位置的词希望通过第 1、3、5 个词进行预测。自回归式的优缺点计算效率比较高只能编码单向语义自编码式的优缺点双向编码能力BERT 假设要预测的词之间是相...原创 2019-11-15 16:37:05 · 1016 阅读 · 0 评论 -
Xavier的初始化推导
一般来说,参数初始化可以用高斯分布,均值为0,方差自定义。但是随着计算的进行,数据的分布极有可能发生变化,如果动荡太大,会使模型很难收敛。目的:所以呢,我们希望保持分布的稳定性Xavier Initialization呢,就是这么一种初始化方式,它的目的在于保持每一层的输入与输出的var相同接下来看如何推导出Xavier 的初始化方式首先,对于神经元的计算而言,有如下的算式,x表示输入,...原创 2019-11-15 16:25:56 · 642 阅读 · 0 评论 -
一些资源分享
web socket:https://www.zhihu.com/question/20215561/answer/40316953消息系统设计:https://www.cnblogs.com/dytl/p/5336917.htmlsequelizehttp://docs.sequelizejs.com/manual/tutorial/associations.htmlelastic ...原创 2019-01-07 10:39:27 · 407 阅读 · 0 评论 -
任务型聊天机器人和闲聊类机器人的关键技术
基于任务型的聊天机器人主要包含四个模块:Spoken Language Understanding(SLU) ,将自然语言转化为intent和slot-values,比如“我想吃中餐,有什么推荐的吗”,intent是‘推荐餐厅’, slot-values是‘菜系-中餐’。Dialogue State Tracking(DST),跟踪对话状态并且输出当前对话状态。这个模块是任务型对话中最核心的...原创 2019-01-08 21:34:51 · 4130 阅读 · 0 评论 -
T-SNE简介
Q:什么是T-SNE,为什么可视化词向量的时候不使⽤PCA, ⽽使⽤TSNE?t-SNE(t-distributed stochastic neighbor embedding)是用于降维的一种机器学习算法,是由 Laurens van der Maaten 和 Geoffrey Hinton在 08 年提出来。t-SNE 是一种非线性降维算法,非常适用于高维数据降维到 2 维或者 3 维,进行...原创 2019-02-21 20:39:00 · 3039 阅读 · 0 评论 -
Beam Search
Q: 什么是Beam Search? 它在NLP中的什么场景里会⽤到?传统的广度优先策略能够找到最优的路径,但是在搜索空间非常大的情况下,内存占用是指数级增长,很容易造成内存溢出,因此提出了beam search的算法。beam search尝试在广度优先基础上进行进行搜索空间的优化(类似于剪枝)达到减少内存消耗的目的。在sequence2sequence模型中,beam search的方法...转载 2019-02-21 20:50:28 · 399 阅读 · 0 评论 -
Skip-Gram模型理解
译自:http://mccormickml.com/2016/04/19/word2vec-tutorial-the-skip-gram-model/什么是Word2Vec和Embeddings?Word2Vec是从大量文本语料中以无监督的方式学习语义知识的一种模型,它被大量地用在自然语言处理(NLP)中。那么它是如何帮助我们做自然语言处理呢?Word2Vec其实就是通过学习文本来用词向量的方...翻译 2019-02-22 10:18:49 · 383 阅读 · 0 评论 -
信息抽取
信息抽取技术主要用于抽取:抽取实体:比如人,地名,时间这些一般的常见的实体,再比如在一些垂直领域,需要提取医疗领域,金融领域,教育领域等方面的实体。抽取关系:提取的是实体与实体间的关系。信息抽取应用场景:比如我们有以上一段话,需要进行实体抽取,以及实体间的关系抽取,接下来需要把这些信息整合成知识图谱的形式。更多应用:知识库的搭建Google Scholar用户库: R...原创 2019-02-22 15:13:23 · 2522 阅读 · 0 评论 -
监督学习
Q:监督学习的流程是什么样的?监督学习过程图示:首先我们需要带有标签的数据,接着,通过特征工程来提取特征形成特征向量。然后,我们会选择模型,相当于选择某一个目标函数,那有了一个目标之后,就可以使用优化算法来优化目标函数。这些算法一般都可以调用工具来使用。这样我们便得到了一个预测结果。如果预测结果不好怎么办呢?我们会从头开始,在每一个部分都作一些调节,一般我们算法工程师做的事情就是循环过程。其中...原创 2019-02-19 21:29:08 · 1271 阅读 · 0 评论 -
正则化
Q:关于正则,我们⼀般采⽤L2或者L1, 这两个正则之间有什么区别? 什么时候需要用L2, 什么时候需要用L1?首先,过拟合的问题通常发生在变量(特征)过多的时候。这种情况下训练出的方程总是能很好的拟合训练数据。但是,这样的曲线在新的数据样本中表现不一定好。也就是说,经验误差很小,泛化误差很大的时候,过拟合就产生了。而正则化是解决过拟合的一种常用手段。正则化是一种回归的形式,它将系数估计朝零的...原创 2019-02-20 17:42:06 · 213 阅读 · 0 评论 -
Attention机制通俗介绍
好,在讲attention之前,大家有必要了解两个知识点,词向量和RNN。什么是词向量呢?也就是把语言向量化来作为模型的输入。什么是RNN呢,也就是循环神经网络,看下面这个示意图,这里的每一个X代表每一步的输入,A代表运算过程,可以看到,每一步的计算输出都被作为下一步的输入,另个需要说明一点,每个A里的参数都是一样的,这就是为什么这种模型叫作循环神经网络。那现在进入今天的主题,attent...原创 2018-12-22 12:29:02 · 3849 阅读 · 0 评论 -
关于一款心理辅导机器人的调研(Woebot)
引子Woebot是一款Facebook Messenger聊天机器人,基于认知行为疗法(Cognitive Behavior Therapy,CBT )来帮助精神抑郁人群。这是一个有基于3亿抑郁患者庞大目标用户群的市场。新科技的应用能在许多方面扩展心理治疗工具,以及使用规模和疗效,如今该领域将注意力转入了人工智能技术。AI+心理健康(从认知行为治疗出发)认知行为治疗始于上世纪60年代,其逐渐...原创 2018-11-13 14:15:10 · 3996 阅读 · 0 评论 -
关于互联网+精神健康的调研
现状市场对精神健康产品的需求很大,但是真正有效的服务提供方并不多,尤其是以技术为内核提升医疗效率的打法十分少见。比较知名的几个平台Woebot简介:基于认知行为疗法(Cognitive Behavior Therapy,CBT )来帮助精神抑郁人群认知行为疗法在应用中,很大一部分主要是精心设计的自管理模式。进行自我情绪跟踪,舒缓工具,健康指导以及病患社区是其主要功能范围,部分提高专人人士...原创 2018-11-13 14:12:34 · 275 阅读 · 0 评论 -
关于合理安排程序项目的一点总结
工作之前一直没有完完整整地完成一整个项目,再加上计算机基础不扎实,写的代码可读性不好,也很难修改。 按着书本学习pytorch框架后,以及和同事们交流后,慢慢开始学着把项目结构安排地更规范些。 这里以一个文本分类的任务为例,主要总结一下在入手一个项目之前,如何构局。 以下是总体的一个布局示意图: 下面介绍各个文件夹及文件的作用: data:存储数据及数据预处理 checkpoint...原创 2018-08-14 16:18:07 · 183 阅读 · 0 评论 -
用pytorch框架搭建一个写藏头诗的模型
记得两年多以前,在网上看到一个关于机器生成诗歌的新闻,感觉好神奇。 工作之后开始用pytorch框架,忙里偷闲,自己也试做了这样一个模型。 先展示一下模型生成的两首五言诗(以‘宅女姜璐’以及‘宅女胡盼’为藏头):宅中逢圣主,天子在中州。 女娲将军幕,胡兵入汉廷。 姜旌连赛路,旌旎入城隅。 璐落三千里,旌旗万里余。宅中无一酣,家有一壶酒。 女子不相识,君家亦有谁。 胡为白马走,...原创 2018-08-14 19:33:29 · 1775 阅读 · 7 评论 -
语言模型小结
什么是语言模型呢? 维基百科给出的概念是这样的:A statistical language model is a probability distribution over sequences of words. Given such a sequence, say of length m, it assigns a probability P ( w 1 , … , w m ) {\disp...原创 2018-08-11 18:55:27 · 470 阅读 · 0 评论 -
文本分类(课堂笔记)
这次的文章是根据牛津大学的公开课深度学习NLP中关于文本分类的课堂笔记(其实就是一些截图了,因为后来发现这个课程比较基础)。 原视频看这里:https://www.bilibili.com/video/av9817911/?p=7首先,文本分类都有什么类型呢? 二值分类; 单标签分类; 多标签分类; 聚类(无标签)那么分类都有哪些方法呢?各有什么优缺点? 这个比较简单,直接截图...原创 2018-08-12 20:50:04 · 451 阅读 · 0 评论 -
关于对词向量的一个小结
在用深度学习处理自然语言的过程中,必然会用到词向量,用google的word2vec工具可以很容易地生成词向量。可是,具体这其中的原理是什么呢?在这里从简单到复杂以问答的形式做一个总结。什么是词向量呢? 很简单,顾句思义,就是把词用向量的形式表示出来。为什么说用深度学习处理自然语言时,就要用到词向量呢? 这个也很容易理解,既然涉及到计算,那么就自然要用到数了,你总不能直接将一段文字输到...原创 2018-08-15 16:48:10 · 1655 阅读 · 0 评论 -
对于softmax和sigmoid的理解
在分类问题中,人们常常会用到sigmoid和softmax这两个激活函数。sigmoid:A logistic function or logistic curve is a common “S” shape (sigmoid curve). 也就是说,sigmoid把一个值映射到0-1之间。softmax:softmax is a generalization of logistic ...原创 2018-08-16 10:19:14 · 21030 阅读 · 0 评论 -
对于RNN(循环神经网络)的课堂笔记总结
这次的文章对RNN做一个详细的总结,文章里的插图来源于视频: https://www.bilibili.com/video/av9770302?from=search&seid=11028515671612362426首先看下面两句话,里面都有Taipei这个地名,可是从语用的角度来说,意思大不相同,一个是目的地,一个是出发地。所以这就是为什么我们希望模型对Taipei前面的词有一个...原创 2018-08-17 12:21:27 · 680 阅读 · 0 评论 -
用代码实现RNN(循环神经网络)
在这次的笔记中,我们以自然语言处理中二分类的例子,用pytorch框架将RNN实现一遍。 结核如下图: 首先手动实现:class RNN(nn.Module): def __init__(self, input_size, hidden_size, output_size): super(RNN, self).__init__() self.hi...原创 2018-08-17 13:17:00 · 4960 阅读 · 1 评论 -
Comment obtenir des vecteurs de phrases?
原文地址:https://medium.com/explorations-in-language-and-learning/how-to-obtain-sentence-vectors-2a6d88bd3c8bDans plusieurs de mes articles précédents, j’ai discuté des méthodes d’obtention de mots tels...翻译 2018-09-06 10:48:43 · 353 阅读 · 0 评论 -
UNE BASE SIMPLE MAIS PARFAITE POUR SENTENCE EMBEDDINGS(一个简单但很难超越的Sentence Embedding基线方法)
法语简介: ABSTRAIT Le succès des méthodes de réseau de neurones pour le calcul des intégrations de mots a conduit à des méthodes activées pour générer des enchaînements sémantiques de textes plus longs,...翻译 2018-09-12 10:19:53 · 409 阅读 · 0 评论 -
关于AI+医疗的调研
人工智能+医疗定义“人工智能+医疗”是人工智能技术(机器学习,数据挖掘为两大技术核心)对于医疗产业的赋能(降本增效,产生影响)现象深度学习使人工智能取得新突破深度学习模拟人脑深度结构, 认知过程逐层进行,逐步抽象;其代表是卷积神经网络 (Convolutional Neural Network, CNN)和循环神经网络(Recurrent Neural Networks, RNN)卷积神经...原创 2018-11-13 14:09:26 · 2011 阅读 · 0 评论 -
关于对CNN(卷积神经网络)的总结
平时做自然语言处理的时候,都会有用到CNN的模型,可是对于模型本身的算法具体过程还没有完全理解透彻! 因此阅读了一些文章书籍以及观看了一些课程,在这里尽量以通俗易懂的语言,以问答形式作一个总结!CNN是个什么鬼?它可以用来做什么?CNN的英文全称是Convolutional Neural Networks(可不是那个美国有线电视新闻网CNN哦), 中文名叫作卷积神经网络,是神经网络的...原创 2018-08-11 09:31:22 · 1694 阅读 · 0 评论