- 博客(61)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 一起读论文 | 文本分类任务的BERT微调方法论
导读：今天为大家解读一篇复旦大学邱锡鹏老师课题组的研究论文《How to Fine-Tune BERT for Text Classification?》。这篇论文的主要目的在于在文本分类任务上探索不同的BERT微调方法并提供一种通用的BERT微调解决方法。这篇论文从三种路线进行了探索：(1) BERT自身的微调策略，包括长文本处理、学习率、不同层的选择等方法；(2) 目标任务内、领域内及跨领域的进一步预训练BERT；
2020-03-13 20:08:06
2580
原创 顶会速递 | ICLR 2020录用论文之图神经网络篇
人工智能顶会ICLR 2020录用的图神经网络相关的研究论文已经为大家准备好了，赶紧Mark读起来吧！
2020-03-12 09:03:31
3428
原创 顶会速递 | ICLR 2020录用论文之强化学习篇
人工智能顶会ICLR 2020录用的强化学习相关的研究论文已经为大家准备好了，赶紧Mark学习起来吧！
2020-03-12 08:39:18
5698
原创 顶会速递 | ICLR 2020录用论文之自然语言处理篇
人工智能顶会ICLR 2020录用的自然语言处理相关的研究论文已经为大家准备好，欢迎Mark学习！
2020-03-12 07:56:38
5277
原创 顶会速递 | ICLR 2020录用论文之元学习篇
人工智能顶会ICLR 2020录用的元学习相关的研究论文已经为大家准备好，欢迎Mark学习！
2020-03-10 23:21:17
1202
原创 顶会速递 | ICLR 2020录用论文全集
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
2020-03-10 19:41:30
16522
原创 一起读论文 | 为什么BERT会在许多NLP任务中表现得很好？
导读：今天给大家解读一篇关于BERT模型研究的综述类论文《A Primer in BERTology: What we know about how BERT works》。基于Transformer的模型已经被证实可以有效地处理从序列标记到问题解答等不同类型的NLP任务，其中一种称为BERT的衍生模型得到了广泛使用。但是，我们对其内部运作知之甚少。这篇论文就是旨在尝试回答一些有关BERT为什么...
2020-03-09 10:25:50
2168
原创 一起读论文 | Complex-order: 一种新的位置编码方式
导读：今天分享一篇华人学者发表在顶会ICLR 2020上的论文《Encoding Word Order in Complex Embeddings》，主要对序列建模的位置信息编码方法进行研究。可以阅读先前的文章《一文读懂Transformer模型中的位置编码》对其中的一种位置信息编码方式的深入分析。本文认为先前的方法需要独立训练每个位置向量，而且也不能建模序列的邻接或者优先关系。本文把这种问题称...
2020-03-03 20:56:30
1918
原创 Seq2Seq模型中的序列解码策略
导读：在序列生成类任务中，如机器翻译、自动摘要等，Seq2Seq是一种非常强大的模型。作为一种条件语言模型，它直接对P(y∣x)进行建模，在生成y的过程中，始终有x作为条件。当训练好了一个这样的模型后，在预测过程中，需要进行解码来找到最有可能的输出序列。这篇文章主要讲解Sequence to Sequence模型在预测阶段中使用的序列解码策略。一些自然语言处理任务，如...
2020-02-26 14:57:22
3802
2
原创 Reformer:高效的Transformer
导读：Transformer模型已经在许多任务上取得了令人欣喜的成绩，但是当扩展到更长的上下文窗口时会遇到许多限制。更大的上下文窗口意味着模型能力变得更加强大，但也会让其变得不够高效，消耗更多的内存。来自Google AI团队最新的Reformer模型结合了两个至关重要的技术来解决限制Transformer应用到长上下文窗口的注意力和内存分配的问题。作者：Nikita Kitaev, Lu...
2020-02-26 14:31:09
1454
原创 一起读论文 | 高质量的同行评审意见应该写哪些内容及如何组织？
欢迎关注DestinedAI微信公众号导读：今天分享一篇美国东北大学NLP实验室发表在NAACL 2019上的研究论文。与《一起读论文|挖掘同行评审意见的价值》一样，这篇论文也研究同行评审过程。但与之不同的是，这篇论文主要从Argument Mining的角度来理解同行评审意见的内容与结构。在这篇论文中，作者发布了AMPERE数据集，用最先进的模型在该数据集上进行了Proposition分...
2020-02-25 17:45:14
2471
原创 一起读论文 | PeerRead:挖掘同行评审意见的价值
导读：今天分享一篇来自CMU、艾伦AI研究院和华盛顿大学合作的论文《A Dataset of Peer Reviews (PeerRead): Collection, Insights and NLP Applications》[1]，聚焦在科学文献发表过程中的同行评审机制的研究工作。作者公开了一份研究数据集，详细阐述了数据收集过程，对其做了一些统计分析，更重要的是为其引入了两个NLP任务并公开了基准模型及实验结果。他们还探讨了一些基于该数据集上进行的可能的NLP应用。内容充实，分析全面。
2020-02-23 17:31:56
1456
原创 请查收！顶会AAAI 2020录用论文之神经架构搜索与推荐系统篇合集
2020年人工智能顶级会议AAAI录用的神经架构搜索与推荐系统领域的研究论文已为您准备就绪，请查收！
2020-02-23 17:23:24
2959
原创 请查收！顶会AAAI 2020录用论文之自然语言处理篇
2020年人工智能顶级会议AAAI录用的自然语言处理领域的研究论文已为您准备就绪，请查收！
2020-02-23 17:18:40
14391
8
原创 【机器学习理论】分类问题中常用的性能评估指标
【机器学习理论】分类问题中常用的性能评估指标分类是监督学习中的一个核心问题。为了评价一个分类器的分类性能优劣，需要引入一些评估指标，这些指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、F值等。接下来就详细讲解分类问题中常用的性能评估指标。通常以关注的类为正类，其他类为负类，依据分类器在测试数据集上的预测或正确与否，四种情况出现的总数分别记作：
2017-10-29 15:19:54
1888
原创 One-Hot Encoding
数据预处理之独热编码问题由来在很多机器学习任务中，特征并不总是连续值，而有可能是分类值。如性别可分为”male”和”female”。对于这样的特征，通常我们需要对其进行特征数字化，如有以下三个特征属性: 性别:[“male”,”female”] 地区:[“Europe”,”US”,”Asia”] 浏览器:[“Firefox”,”Chrome”,”Safari”,”Internet Explor
2016-04-21 13:57:48
1545
原创 MySQL常用命令详解
使用MySQL数据库登录到MySQL创建一个数据库查看数据库选择所要操作的数据库创建数据库表查看已创建的表查看已创建表的详细信息操作MySQL数据库向表中插入数据查询表中的数据更新表中的数据删除表中的数据创建后表的修改添加列修改列删除列重命名表删除整张表删除整个数据库附录修改root用户密码使用mysqladmin方式使用MySQL数据库登录到MySQL
2016-03-02 09:23:05
848
原创 Mac下新安装的MySQL无法登陆root用户的解决方法
环境 操作系统：Mac OS X EI Capitan 数据库：MySQL 5.7.11当进行正常的安装过程后，在终端输入命令 mysql -u root -p 尝试登录mysql，就会发生这样的错误，以致于始终无法登录MySQL数据库，而安装过程中程序并没有提示我们设置root密码。 ERROR 1045 (28000): Access denied for user ‘root’@’lo
2016-03-02 08:26:07
4229
1
原创 Python字典
Python字典是另一种可变容器模型，且可存储任意类型对象，如字符串、数字、元组等其他容器模型。字典由键和值对组成。字典也被称为关联数组或哈希表。 注意:每个键与值用冒号隔开，每对用逗号分割，整体放在花括号中({})键必须唯一，但值则不必值可以取任何数据类型，但必须是不可变的创建字典Python有两种方法可以创建字典,第一种是使用花括号,另一种是使用内建 函数dict>>> info =
2016-01-20 15:00:12
1066
原创 Python字符串相关函数
判断类 名称 用途 str.islower() 判断字符串中的字母字符是否全部为小写，该方法仅判断字符串中的字母字符，不理会其它字符。字符串必须至少包含一个字母字符，否则返回False str.isupper() 与st.islower()方法相反，判断所有字母字符是否全部大写 str.casefold() 把整个字符串的所有字符改为小写 str.isalnum()
2016-01-19 16:57:55
874
转载 JVM的相关知识整理和学习
JVM是虚拟机，也是一种规范，他遵循着冯·诺依曼体系结构的设计原理。冯·诺依曼体系结构中，指出计算机处理的数据和指令都是二进制数，采用存储程序方式不加区分的存储在同一个存储器里，并且顺序执行，指令由操作码和地址码组成，操作码决定了操作类型和所操作的数的数字类型，地址码则指出地址码和操作数。从dos到window8，从unix到ubuntu和CentOS，还有MAC OS等等，不同的操作系统指令集以及
2015-08-03 08:58:52
828
原创 函数range()与xrange()的比较
range与xrange的比较range函数用法: range(stop) range(start,stop[,step]) 函数说明： 这是一个创建包含数列的列表的通用函数。它最常用于for循环。参数必须为普通的整数。如果step参数省略，则默认为1。如果start参数省略，则默认为0。该函数的完整形式返回一个整数列表[start, start + step, start + 2 * st
2015-07-29 11:24:39
2582
原创 Linux命令之文件管理篇
md5sum功能说明 md5sum命令可以同时对一批文件进行256位的MD5编码，并可以通过比较前后二次编码值来检测一个文件是否给修改过。 语法 md5sum [options]…[file]… 参数 -b,–binary 以二进制模式读取 -c,–check 读取并检测文件的MD5值 -t,–text 默认以文本模式读取 –quiet 不为每个验证成功的文件打印OK –statu
2015-07-27 22:47:29
702
原创 Linux命令之磁盘维护篇
genisoimage功能说明 建立ISO 9660映像文件。 语 法 mkisofs [-adDfhJlLNrRTvz][-print-size][-quiet][-A ][-abstract ][-b ][-biblio ][-c ][-C ][-copyright ][-hide ][-hide-joliet ][-log-file ][-m ][-M ][-o ][-p ][
2015-07-27 22:35:59
808
转载 Machine Learning && Deep Learning Resources
GitHub Special: Data Scientists to Follow & Best Tutorials on GitHubData Science Tutorials on GitHubNow,if you are new to GitHub,you would be asking,where do tutorials come in on a platform meant for v
2015-07-23 09:11:26
954
原创 排序算法之基数排序
概述首先从多排序码排序开始介绍基数排序。以扑克牌排序为例。每张扑克牌有两个“排序码”：花色和面值。其有序关系为：花色：♣<♦<♥<♠♣ < ♦ < ♥ < ♠面值：2<3<4<5<6<7<8<9<10<J<Q<K<A2 < 3 < 4 < 5 < 6 < 7 < 8 < 9 < 10 < J < Q < K < A如果把所有扑克牌排成以下次序： ♣2，…，♣A，♦2，…，♦A，♥2，…，♥A
2015-07-18 20:24:05
1244
原创 排序算法之简单选择排序
基本思想在一组元素中选择具有最小排序码的元素，若它不是这组元素中的第一个元素，则将它与这组元素中的第一个元素对调；在未排序的剩下的元素中重复执行以上步骤，直到剩余元素只有一个为止。代码private void selectSort(int[] a, int left, int right) { for (int i = left; i < right; i++) { int
2015-07-18 11:13:39
1238
原创 排序算法之二路归并排序
基本思想首先将待排序的元素序列分成两个长度相等的子序列，为每一个子序列排序，然后再将它们合并成一个序列。代码private void mergeSort(int[] a, int[] b, int left, int right) { if (left < right) { int middle = (left + right) / 2; mergeSort(
2015-07-18 10:07:22
2956
原创 排序算法之堆排序
堆排序是一种树形选择排序，是对直接选择排序的有效改进。 堆是一种数据结构，其定义：任何一个非叶结点的值，都不大于（或不小于）其左右孩子结点的值。若父亲大孩子小，则这样的堆叫做大顶堆；若父亲小孩子大，则这样的堆叫做小顶堆。顾名思义，大顶堆的根结点的值是最大的，小顶堆的根结点的值是最小的。基本思想首先，将一个无序序列调整为大顶堆（小顶堆），我们就找到了这个无序序列的最大（或最小）值，然后将这个值交换到
2015-07-18 10:02:48
1308
计算机网络数学基础
2016-02-03
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人