机器学习
文章平均质量分 68
lynne233
偶尔写影评剧评,豆瓣账号:https://www.douban.com/people/lynne_xuan/reviews
展开
-
基于深度学习的文本分类论文推荐——fasttext,textcnn
简介情感分类是对带有感情色彩的主观性文本进行分析推理的过程,在这个过程中我们需要分析出说话人的态度和观点,即他的态度是正面还是反面。情感分类按照其分析的粒度可以分为篇章级,句子级和短语级。篇章级情感分类是指对篇章级别的句子进行情感分类,分类过程中可能需要涉及到句子之间的起承转合,句子级的情感分类是是对句子进行情感分类,短语级的情感分类是指对短语进行情感分类,例如“相机的画质还不错但是电池的续航能力比较差”中,用户对于画质的评价就比较偏正向,对电池的评价就比较偏负向。情感分析的一般方法也主要分为三种,原创 2020-11-13 00:26:18 · 833 阅读 · 0 评论 -
推荐系统资料推荐
知乎首页阿黎一只喵导读这周看了一些关于推荐相关的资料,相比于NLP来说推荐实在是一个比较庞大的工程。这篇文章仅限于对这周看到的一些资料的总结和个人感受,可能会有一些错误和不成熟的地方,希望大家看到以后可以指出哦。本来打算多看几篇论文的,但是努力不一定成功,不努力却真的很舒服呀哈哈。这篇文章也是躺在床上看到一个关注的博主的推送之后鲤鱼打挺起来写的,希望大家见谅哦(反正也没几个人看)1. 背景随着信息技术的飞速发展,当前人们面临的问题由之前的信息不足逐渐转化为当前的信息过载,在这个时代无论是信息原创 2020-09-14 11:54:54 · 356 阅读 · 0 评论 -
细粒度文本分类相关论文推荐
导读前一段时间在研究实体识别的任务,因为标签的设计觉得细粒度文本分类应该会对任务的效果有所提升,于是搜集了一些细粒度文本分类的论文,本文将是对这些论文的总结和思考。本文将简单介绍论文中模型的结构和设计思路,具体的一些细节在之前的文章中我们有详细介绍,如果有兴趣大家可以点击相关链接。背景实体分类是对一篇文章中的实体进行分类的任务,例如"《秘密森林》由韩国演员曹承佑和裴斗娜主演"中曹承佑作为实体的标签就是"演员"。实体分类通常会在关系抽取,机器翻译,知识问答等任务中起到关键作用。目前比较常见的有关N原创 2020-06-16 00:14:31 · 1223 阅读 · 0 评论 -
Embedding Methods-从相似度出发进行细粒度文本分类
背景实体分类是指给一个实体一个指定的标签,这在关系抽取,知识问答等任务中非常重要。一般实体分类的标签都小于20个,但是当标签之间具有层级结构,同一个实体在不同的上下文中便可能具有不同的角色。例如: Madonna starred as Breathless Mahoney in the film Dick Tracy Madonna signed with Sire Records in 1982 and released her eponymous debut album the ne原创 2020-05-31 23:09:29 · 1452 阅读 · 1 评论 -
Put it back:细粒度实体识别,标签也有信息别忘了哦
本文同步发布知乎,知乎主页lynne阿黎请大家不吝关注~背景ENT任务(Entity Typing):判断一个实体的类别,粒度可以分为person,location, organization, others。细粒度实体识别根据不同的数据有不同的分类情况,例如Figer dataset有112类。ENT任务对实体链接,关系抽取,对话问答等任务来说都是一个非常必要的先要任务。一般ENT任务都...原创 2020-04-29 13:54:10 · 1041 阅读 · 0 评论 -
HFT-CNN:层级多标签分类,让你的模型多学习几次
本文同步发布知乎:HFT-CNN:层级多标签分类,让你的模型多学习几次知乎主页lynne阿黎请大家不吝关注~背景长文本由于自身的特点和信息量,一段文本会描述一个特定的主题。短文本由于其自身长度的原因是缺少这种特征的。一般对于短文本的处理会借鉴上下文的语料或者同义词来扩充短文本的含义。但是由于文本的领域相关性,上下文的语料和同义词的分布未必和原始语料一致。由于以上原因短文本分类一直受到人们的...原创 2020-04-19 22:25:31 · 5278 阅读 · 0 评论 -
ElECTRA:震惊NLPER居然可以使用GAN了![PART2]
本文同步发布与知乎:ElECTRA:NLPER也可以使用GAN了?[Part-2],知乎主页lynne阿黎请大家不吝关注~18年Bert横空出世,刷新了各大榜单之后,对齐的改进层出不穷,Ernie, Albert大多数改进都没有新意,无非就是大力出奇迹的堆叠参数。ICLR2020 斯坦福和Google为我们提供了一种新思路,用Bert来"欺骗"Bert,模型改进了MLM(Masked Lang...原创 2020-03-31 20:52:45 · 458 阅读 · 0 评论 -
ElECTRA:震惊NLPER居然可以使用GAN了![PART1]
背景目前以Bert为代表的state of art的预训练模型都是基于MLM(Masked Language modeling)来进行预训练的,这些模型将输入的句子中15%的Mask掉,然后使用模型去预测被mask掉的原始内容。当然这些模型也面临一个问题就是模型因为参数过多,每次训练只能学习到训练数据的15%的内容,从而导致计算量过大的问题。因此文章中提出了一种新的训练方法:随机替换句子中...原创 2020-03-30 19:55:38 · 567 阅读 · 0 评论 -
Focal Loss
Focal Loss是在论文Focal Loss for Dense Object Detection中提到,主要是为了解决one-stage目标检测中样本不均衡的问题。因为最近工作中也遇到了样本不均衡的问题,但是因为是多分类问题,Focal loss和网上提供的实现大都是针对二分类的,所以阅读论文。本文我将解释论文中的内容以及自己的理解,同时文末会提供Focal loss针对多分类的实现。...原创 2020-03-23 10:48:18 · 255 阅读 · 0 评论 -
Bert微调技巧实验大全-How to Fine-Tune BERT for Text Classification
背景介绍文本分类是NLP中的一个经典任务, 通常在大型的数据集进行一些预训练的模型在文本分类上可以取得很不错的成绩。例如word2vec, CoVe(contextualizedword embeddings)和ELMo都取得了不错的成绩。Bert是基于双向transformer使用masked word prediction和NSP(next sentence prediction)的任务进...原创 2020-02-25 23:30:48 · 8739 阅读 · 0 评论 -
Albert-加速Bert训练的新思路(Albert从论文到源码)
背景自从Bert横扫各大榜单之后,对Bert的尝试就没有停止过。在这种思路下,实验显示隐藏层数越多,参数量越多,模型的效果越好。虽然效果变好,但是由于GPU/TPU的限制,这些SOA的模型要单机跑起来是很困难的。因此文中提出了一种参数共享的新思路。Albert的改进Albert主要是从三方面对Bert进行了改进Emebdding因式分解(Factorized embedding param...原创 2020-02-06 01:11:57 · 1807 阅读 · 0 评论 -
深度学习经典神经网络GoogLeNet阅读笔记
前言GoogLeNet是2014年提出的深度学习网络,此前LeNet, AlexNet等都通过卷积层取得了比较好的训练效果,但是引用GoogLeNet原文链接https://arxiv.org/pdf/1409.4842.pdfNetwork in Network原文链接https://arxiv.org/pdf/1312.4400.pdf深入理解GoogLeNet结构(原创)http...原创 2019-12-16 02:02:06 · 247 阅读 · 0 评论 -
K-means聚类及其验证
给定D维空间上的数据集,并不知道这些数据集所对应的类型和标号,通过聚类方法将这些数据集划分成K类。K-means聚类是一种无监督模式的学习。聚类的原则就是使准则函数最小:聚类的验证有多种方式,通常较通用的应该一定都会有Entropy 熵 和 Accuracy, (Accuracy 里可以包含了precision, recall, f-measure.)假原创 2016-10-25 14:32:40 · 7661 阅读 · 0 评论 -
IRT模型
IRT模型是用来分析考试成绩或者问卷调查数据的数学模型。这些模型的目标是来确定的潜在心理特征(latent trait)是否可以通过测试题被反应出来,以及测试题和被测试者之间的互动关系。在IRT模型的理念是一个学生回答一个问题是否正确这个结果是学生个人和题目的函数。学生个人这个因素可以用学生这个人的一些心理特征来进行衡量,比如学生的智力或者学生的学习态度等,题目因素的衡量可以用题目的难度。IR原创 2016-10-29 14:55:36 · 7591 阅读 · 0 评论 -
Metropolis–Hastings算法
1蒙特卡洛方法蒙特卡罗方法也称统计模拟方法,是一种以概率统计理论为指导的数值计算方法。蒙特卡洛方法的基本思想是,当所求解问题是某种随机事件出现的概率,或者是某个随机变量的期望值时,通过某种“实验”的方法,以这种事件出现的频率估计这一随机事件的概率,或者得到这个随机变量的某些数字特征,并将其作为问题的解。蒙特卡罗方法主要有三个工作过程:构造或描述概率过程;实现从已知概率分布抽样;建立各种估计量。原创 2016-12-22 16:48:59 · 4576 阅读 · 0 评论 -
优化方法
1 无约束优化2 有约束优化方法原创 2017-03-04 14:38:39 · 261 阅读 · 0 评论 -
高斯混合模型
最近看概率图看到高斯混合模型也是概率图的一个比较典型的例子,于是又去看了一下高斯混合模型,做了一些笔记。因为博客很多公式不好打,所以我写成word文档然后截图。原创 2017-03-04 15:24:25 · 473 阅读 · 0 评论 -
python实现简单的神经网络
写在前面:我一直是一个非常懒散的人,没有计划,得过且过,所以导致学很多东西都非常浅显,当然我本来也不是一个很深刻的人。说来惭愧,title是算法工程师却一直不懂深度学习,这一直是我心中的痛,想最近抽空学习深度学习。作为最近的大热,深度学习的入门门槛非常低,因为现在的框架已经做得非常完整了,而且很多开源代码下下来跑跑数据就可以说我跑过模型了,但是我一直对深度学习的内部机理感到迷茫,所以这个领域对...原创 2018-09-25 14:24:03 · 3399 阅读 · 0 评论 -
Windows搭建virtualenv+pycharm+tensorflow环境简单教程
训练模型的时候我们一般会在本地调试然后在使用大规模数据集运行,因此在本地搭建tensorflow环境比较重要,但是因为tensorflow只支持python3.5以上的,但是目前python2.7和python3.5+又不是非常兼容,因此如果直接装的话,会导致本地的环境非常混乱,因此大部分都推荐virtualenv安装。正常情况下安装是比较方便的,下面出个非常简单粗暴的教程:相关条件:pyt...原创 2019-05-31 23:59:13 · 925 阅读 · 0 评论