机器学习
文章平均质量分 77
blmoistawinde
上海西南某高校学森一枚,数据玩家,喜欢有趣有意义的数据挖掘分析。目前兴趣方向在NLP,社交网络分析和知识图谱等。
向往风一般自由,希望拂过之处给世界带来些清新与滋润~
邮箱:blmoistawinde@qq.com
Github:https://github.com/blmoistawinde
展开
-
使用huggingface全家桶(transformers, datasets)实现一条龙BERT训练(trainer)和预测(pipeline)
使用huggingface全家桶(transformers, datasets)实现一条龙BERT训练(trainer)和预测(pipeline)huggingface的transformers在我写下本文时已有39.5k star,可能是目前最流行的深度学习库了,而这家机构又提供了datasets这个库,帮助快速获取和处理数据。这一套全家桶使得整个使用BERT类模型机器学习流程变得前所未有的简单。不过,目前我在网上没有发现比较简单的关于整个一套全家桶的使用教程。所以写下此文,希望帮助更多人快速上手。原创 2021-01-16 16:24:55 · 9112 阅读 · 4 评论 -
conceptnet-numberbatch: 结合常识知识的词向量 - 概述及使用
在NLP领域,常识知识的使用越发成为热点,因为其有希望帮助克服现有模型的局限:它们仅从训练数据中学到的有偏的、浅薄的知识,而并不擅长像人一样进行真正的推理。常识知识的表示形式有很多:有的是以图的形式,如ConceptNet;有的是以模型的形式,如COMET;而本文要介绍的应该是其中比较易于使用的一种,词向量形式。其代表是conceptnet-numberbatch。简介ConceptNet Numberbatch 是一组词向量,可以直接以向量形式表达词的语义。它是ConceptNet开源项目的一部分原创 2020-11-26 21:21:32 · 1722 阅读 · 0 评论 -
交大ADAPT实验室 | 常识知识论文列表
近年来,常识知识(commonsense knowledge)越发成为NLP领域,乃至多模态,跨学科的研究热点。尽管以BERT为代表的的预训练语言模型已经在实体识别、机器翻译、情感分析等任务上取得了亮眼的表现,它们在面对一些人类可以使用常识轻易解决的问题时仍然表现不佳,面对对抗样本时也极为脆弱。似乎这些模型知识只是学到了一些浅层线索和语义,而与人类的知识体系并不相同。因此,将常识知识融入机器学习中就成为了一个充满前景的解决方案。不过,如何抽取常识知识,如何利用常识知识,乃至如何定义“常识本身”依然是有待研究原创 2020-11-16 15:06:16 · 1364 阅读 · 0 评论 -
tensorflow/pytorch临时指定CUDA版本,解决版本适配问题
经典的深度学习引擎,如tensorflow和pytorch,其自身版本与CUDA版本有着严格的对应关系,一点点的不符都会使得程序无法运行。例如,我目前的默认CUDA==10.2,现在需要跑tensorflow-gpu==1.13.1的代码(要求CUDA==10.0),就会报出这样的错误:ImportError: libcublas.so.10.0: cannot open shared object file: No such file or directory由于复现实验时,原始代码的tensor原创 2020-06-20 17:54:01 · 2795 阅读 · 0 评论 -
python衡量数据分布的相似度/距离(KL/JS散度)
背景    很多场景需要考虑数据分布的相似度/距离:比如确定一个正态分布是否能够很好的描述一个群体的身高(正态分布生成的样本分布应当与实际的抽样分布接近),或者一个分类算法是否能够很好地区分样本的特征(在两个分类下的数据分布的差异应当比较大)。   &a原创 2018-11-21 20:31:41 · 30579 阅读 · 17 评论 -
困惑度(perplexity)的基本概念及比较多种模型下的计算(N-gram, 主题模型/LDA, 神经网络/RNN)
发现网络上流传的关于困惑度(perplexity)大多数都是利用了N-gram或者主题模型的例子来阐述的。但是现在这个年代来学习这个指标的人多半都是想研究神经网络的,而两者的对困惑度的计算方法又很不同,这就不能不让人对“困惑度”感到“困惑”了。本人虽然才疏学浅,还是斗胆在这里尝试写一篇文章,试图用简洁的方式来梳理清楚其中的困惑。困惑度的基本定义首先,困惑度是用来评价语言模型好坏的指标。语言模型...原创 2020-03-19 13:52:40 · 15014 阅读 · 4 评论 -
AI/机器学习常用公式的LaTex代码汇总
在写AI/机器学习相关的论文或者博客的时候经常需要用到LaTex的公式,然而作为资深“伸手党”的我在网上搜索的时候,居然没有找到相关现成资源@-@那么,我就把自己经常会遇到的公式整理如下,以NLP和一些通用指标函数为主。有需要的可以自取,当然发现有问题或者遗漏的也欢迎指正和补充。(我同步到了Github上( https://github.com/blmoistawinde/ml_equations_latex ),欢迎提issue和PR,当然还有star~)Classical ML Equations原创 2020-05-21 15:49:40 · 3549 阅读 · 0 评论