- 博客(45)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 【论文笔记】Multi-task Learning with Sample Re-weighting for Machine Reading Comprehension（2019，NAACL）
这篇论文主要提出了一种多任务学习（Muti-Task Learning, MTL）运用于MRC技术时，以“给辅助数据集添加权重”的方式来衡量数据可能的贡献，以此也防止非领域数据对模型的污染，其中自动添加权重的思路非常巧妙，值得学习。
2020-03-01 15:48:58
1063
原创 【论文笔记】Improving Machine Reading Comprehension with General Reading Strategies（2019，NAACL）
这篇论文在GPT模型的基础上，根据人类认知科学，提出了对非抽取式阅读理解任务的三个优化策略，分别被作者称为前后阅读(BACK AND FORTH READING，BF)，高亮阅读（HIGHLIGHT, HL)，自我评价（SELF-ASSESSMENT，SA），实际上分别对应输入策略，附加信息，数据增强的策略，对如何进行阅读理解的优化有启发作用。
2020-02-27 15:59:54
1036
原创 【论文笔记】BERT Post-Training for Review Reading Comprehension and Aspect-based Sentiment Analysis（2019）
这篇论文提出了将阅读理解技术用于网络评论数据，来避免现在电子商务机器人的回答不够灵活的缺点的一种思路。作者称这种问题为RRC(Review Reading Comprehension)，还做了一个小数据集（大概加起来只有2000多条示例数据）。作者这篇论文对我来说最大的价值在于他提出了一种BERT的后训练方法，让小数据量下训练BERT也得到了很好的效果。1. 介绍前面针对作者定义的RRC的...
2020-02-26 14:20:31
2966
原创 【论文笔记】DCN-plus和FusionNet（2018）
这两个前BERT时期的模型可以说是把注意力玩出了花来，给我的感觉就像是穷尽算力和各种信息来推高准确率。但是，这两篇论文里有很多想法也是值得去思考的。通过学习这两个网络，我对注意力的运用模式有了更深的理解。1.DCN+这个网络是对DCN的优化。DCN是全称dynamic coattention networks，动态协同注意力网络。其大致的网络架构图如下图所示：其中两个部分的encoder没...
2020-02-22 17:21:40
4028
原创 【论文笔记】Bidirectional Attention Flow for Machine Comprehension（2017）
这篇论文提出了经典的BiDAF模型，即使现在BERT出现，但这篇论文提出的模型仍是具有参考价值，并且这篇论文中对模型和注意力机制进行了详细的探究，帮助我们加深理解整个机器阅读理解过程。1.介绍在2017年，注意力机制已经被很广泛地应用，在机器阅读理解（ machine comprehension，MC）中，注意力机制被用于聚焦上下文中与问题最相关的一段，从而实现一种信息提取的作用。在其他论...
2020-02-20 16:58:10
1514
原创 【论文笔记】A Theoretically Grounded Application of Dropout in Recurrent Neural Networks（2016）
这篇论文从贝叶斯论的角度分析了RNN网络的优化过程，并以此为基础提出了一种对RNN有效的dropout方法。它用到了近似变分推断的数学方法，这个我啃了好久还是苦于数学能力看得云里雾里。但还是先把笔记记下来吧。1.介绍与现状作者提出，RNN因为缺少正则化，很容易陷入过拟合。现在也有许多这方面的努力，特别是之前还有人基于实验结果提出在RNN上运用dropout效果反而会变差这种结论。作者反驳说这些...
2020-02-19 13:42:45
1198
原创 【论文笔记】Highway Network: Training Very Deep Networks (2015)
这篇论文提出了著名的Highway Network，用于解决深层网络的训练问题。这个结构已经得到了广泛的应用，也有很多资料。我之所以阅读这篇五年前的论文，主要是看现在的资料觉得对网络的结构理解的还是比较浅，于是想看看发明者的思路，在这里对收获做了一些总结。1.介绍网络深度的增加会为网络带来更多的表现力，但网络深度同时也让网络很难去训练。在这篇论文之前，解决方案大致从这几个方面出发：优化器：...
2020-02-18 18:06:58
605
原创 在Ubuntu服务器上搭建QQ机器人
最近有使用QQ开发机器人的需求，酷Q是现在广泛使用的QQ机器人，但是酷Q只适用于windows平台，而手头现在只有一台阿里云上的Ubuntu16.04服务器。在查阅了相关的资料后，终于找到一条可以使用的路线。需求环境硬件：一台服务器系统：Ubuntu16.04，理论上支持各类linux系统软件：python 3.6 以上DjangoUbuntu Server 16.04 LTS &...
2020-02-14 11:22:55
6670
2
原创 【论文总结】《Neural Reading Comprehension and Beyond(2018，第一部分)》（阅读理解任务综述）
Danqi Chen的这篇论文很好地概括了从1977年以来的阅读理解领域发展，通读一遍对初学者（我）也是受益匪浅，文章以“数据集和模型的相互促进”为脉络，穿插讲解了各种数据集和模型方法的发展，并拿自己的一个典型模型做了详细讲解，值得一读。我在这里基本是对论文内容进行了压缩和总结，我自己的想法以引用块的形式写在中间。
2019-11-10 11:44:23
4571
原创 【论文笔记】Enhanced LSTM for Natural Language Inference（1609）
Enhanced LSTM for Natural Language Inference（1609）这篇论文提出了一个用于处理推理任务的模型，ESIM，并运用语法树为其附加信息，在SNIL上取得了88.6（单ESIM 88.0）的成绩。时间原因没有看Tree-LSTM，据说现在已经被GNN取代。模型总览模型基本框架是BiLSTM（input encoding）— Attention（loc...
2019-10-27 12:59:31
327
原创 【论文笔记】Reasoning about Entailment with Neural Attention
Reasoning about Entailment with Neural Attention这篇论文主要讲了他们第一次应用深度学习取得了比现阶段人工特征更好的结果（201509），模型架构大体是:LSTM—Attention—FC分类https://arxiv.org/pdf/1509.06664v1.pdfLSTM层他们使用两个不同的LSTM来分别对Premise和Hypothes...
2019-10-27 12:57:49
817
原创 【深度学习与自然语言处理 01】循环神经网络RNN
开这一个系列，一方面是为了作为自己的笔记，加深理解，希望自己能够坚持；另一方面是因为csdn复制粘贴内容太多，现在百度都难找到什么有用的信息了，开头几页全是一样的。由于是一边学习一边写，在文章中会加入很多自己的理解，并不一定正确，希望大家在多多包涵，在评论区指正。本篇学习过程中参考了很多邱锡鹏老师的《神经网络与深度学习》，这本书对神经网络的推导非常详细，推荐同为入门者的大家阅读。前言深度学...
2019-09-29 22:18:13
676
原创 记2018年北航夏令营+机试面试心得体会
个人情况见上一篇博客去火车站路上才看北京的天气预报，这就导致我又特么得买一把伞，这次回去我的伞足够整个宿舍用了……北航这次夏令营总共申请了1355人，初审不需要网上报名，只能邮寄材料，每两天公布一次收到资料名单。截止后官网公告说7.6日公布初审通过名单，也就是入营名单。当时因为我已经有了上交软件的夏令营入营资格，也不算特别慌，所以说一定得多做准备，觉得自己弱就不敢报真的是会错失很多...
2018-07-18 00:35:42
22787
27
原创 记2018年北理计算机夏令营+机试
个人情况： 2015级 山东大学 成绩排名13/294， 综合排名11/294，四六级552/476 竞赛 包括英特尔杯三等奖，数字媒体科技作品竞赛三等奖，和山东省大学生软件大赛一等奖 科研 没有论文，但跟着老师做过科研助手，写过一个比较大的项目因为实验室有学长保研到北理，他推荐我尝试报名一下北理，在这之前我甚至没有考虑过北京，咳咳。 四五月左右联系老师的时候，我比...
2018-07-18 00:07:49
15578
14
原创 【资源聚合平台进度总结】Word2Vec+TextRank实现摘要生成技术
前言在本系统中，由于自动获取的网络上的资源参差不齐，即使通过了机器的审核，仍然可能会给用户的检索带来很大困难。另一方面，现在大多主流的博客所谓自动生成摘要，其实都是自动截取前100个字符，这实在是辜负了现在人工智能和NLP技术的发展。 因此在我们的项目中，我们计划引入摘要生成技术，一是方便用户的检索查看，二是想看看能否利用其作为质量控制系统的一部分。1958年，Luhn便提出了“词频”的...
2018-06-14 22:09:03
4431
2
原创 【rails】关联的唯一性约束
rails中，通过has_many through建立的两个模型之间的关联是以模型存在的。 在实际使用中，我们往往会遇到需要使关联唯一的情况，例如用户之间的关注关系，你一般不会想要在关联表中存放两个相同的记录。 这时，在应用级（即model文件）中可以验证uniqueness，在scope选项中填入要关联的元素，即可实现在多个属性上的唯一性验证。 这里是以学生选课为例子，在我们的例子中，假设...
2018-05-01 23:03:28
3074
原创 【机器学习（2）】K-means算法原理分析及python实现（附代码和数据）
简介K-means算法可以说是机器学习中最基础的算法之一了，大部分人入门机器学习都是从KNN和K-means开始的。本算法的主要目的也是为了分类，但与KNN算法相比，本算法的不同之处在于：数据类型不同，无监督学习。 数据类型不同，指在上一篇文章中，我们使用KNN算法用于图像，而k-means算法适用范围一般不包括图像处理。它主要用来处理的数据类型类似于多维空间中的点，将这些点分类为k簇（...
2018-03-19 22:43:10
3138
原创 【深度学习】实时物体检测框架Single-Shot MultiBox Detector（SSD）（1）概述
目标检测是深度学习图像识别的技术领域，指对单张图片中的物体的类别和位置进行标注。ssd框架是深度学习领域实时准确地识别物体的可实用的网络，具有较高的实用价值和参考价值。本文对ssd的概况和原理进行了简要分析。
2017-12-24 23:49:47
4259
原创 【nachos】山东大学操作系统课设实验nachos系统（6）系统调用Exec()和Exit()
Lab7-8 完善系统调用实验目的：尝试实现系统调用Exec() 和 Exit()实验步骤分析了nachos的系统调用等
2017-11-25 19:08:25
8854
1
原创 【nachos】山东大学操作系统课设实验nachos系统（5）扩展地址空间
实验目的：尝试在nachos下扩展内存空间的实现，使其能够支持多程序并行执行
2017-11-25 00:07:29
4179
1
原创 【nachos】山东大学操作系统课设实验nachos系统（4）用户程序与系统调用
实验目标：尝试在nachos中运行用户程序，并熟悉将要完成的系统调用。 在完成实验后应该有如下了解 1用户程序是如何启动的 2 用户程序是如何通过系统调用与os内核交互的 3系统调用是如何实现的准备工作
2017-11-20 23:39:11
8166
原创 【nachos】山东大学操作系统课设实验nachos系统（3）扩展文件系统
请允许我跳过实验三文件系统操作，那个跟着实验指导做就行完全没啥动脑子的实验目的：对现有的nachos文件系统进行修改，使之能够扩展文件的大小。
2017-10-29 23:21:35
6178
1
原创 【nachos】山东大学操作系统课设实验nachos系统（1）：线程初探
山东大学操作系统课设，nachos3.4 c++版本实验1线程初探
2017-10-17 19:39:04
10294
1
原创 Intel caffe 安装及用gpu训练即去掉CPU-Only的方法
能找到这里估计你也是快被气吐血了intel caffe针对cpu进行了优化，可以达到与gpu相同的性能（据说然而intel caffe编译过程中，若是把CPU_ONLY=1一行注释掉（即intel caffe使用gpu运行） 会出现无数莫名其妙的bug，
2017-07-18 20:55:20
4397
原创 【Qt Multimedia】用QMediaPlayer实现简易播放器（2）详解QMediaPlayer、QVideoWidget、QMediaPlaylist
详解QMediaPlayer、QVideoWidget、QMediaPlaylist三个类的常用方法。
2017-05-10 22:27:10
31480
10
原创 【Qt Multimedia】用QMediaPlayer实现简易播放器（1）总览Qt Multimedia
如果后来的人看了这篇博客能更方便地去使用Qt，幸甚至哉。Qt Multimedia是Qt的一个重要模块，它提供了许多c++类和QML模块来进行多媒体内容的展示和处理，还提供了一些访问录音机和摄像头的必要的api。本篇中，主要讲述的是C++的实现。
2017-05-10 21:50:40
9985
转载 logistic回归原理解析及Python应用实例
转载自feilong_csdn的同名博客点击打开链接logistic回归，又叫对数几率回归（从后文中便可此名由来）。首先给大家强调一点，这是一个分类模型而不是一个回归模型！下文开始将从不同方面讲解logistic回归的原理，随后分别使用梯度上升算法和随机梯度上升算法将logistic回归算法应用到实例中。一、logistic回归和线性回归的关系想必大家也早有疑惑，既然logisti
2017-04-06 19:48:54
887
原创 简单分析线性回归中的梯度下降
对于回归问题，我们的目标是要找到一个模型，或者说hypothesis，使之能够：对于我们一个输入，能够返回我们预期的结果。也就是说，假设在我们的数据集和结论集之间存在一个完美的对应关系f使得所有数据集都能正确得出结果，那我们的模型h应该与f之间的差距尽可能的小。所以，我们靠瞎猜来蒙到这个h肯定是不现实的。我们这时候就会想，虽然我们一开始的模型不怎么贴合f，那么能不能根据已知数据集，一点一点地修...
2017-04-06 19:40:04
630
原创 【机器学习（1）】图像识别中的最近邻分类和knn分类
对于识别图像分类问题，我们怎么判断输入一张图片具体归于哪一类呢？假如给你一张猫的照片，你会怎么去分辨这是一只猫？最简单的思路就是：它和现有的猫的相似程度。 但是，这里有个问题，对于人来说，认识这只猫可以通过：猫有爪子，有胡须，耳朵是什么样的，鼻子是什么样的，多大等等特征。 但是，对于机器呢？图片对它们来说，只是一张标明了描述哪一点是什么颜色的矩阵而已！没办法像定义数组排序这种算法一样去...
2017-04-06 15:26:26
5134
原创 【简单易懂的劝退名词】正则表达式概念和入门
对计算机的学习中总会遇到一堆看不懂什么意思但是觉得很厉害的词，总会有人望而却步，所以被称为劝退名词…… 往往在高大上的名词背后其实学起来是很简单的。正则表达式就是其中之一。下面从三个方面讲解正则表达式：正则表达式是什么 为什么用正则表达式 怎么使用正则表达式
2017-04-05 16:44:40
671
原创 c++中两个类互相持有对方引用的方法
在java中，有时为了对象之间的通信，会让两个类互相持有对方引用在刚学习c++的面向对象时，不能直接像java一样做，而是要有一些小技巧。
2017-03-21 20:49:43
2319
原创 【python爬虫】python爬虫入门攻略（1）
一般说起来python，大概有很多人第一个印象就是python爬虫， 因为python的有关于此的第三方库非常完善，而且相比于其他语言中动辄几百行上千行的代码量，想用python写一个爬虫是很容易的，一只简单的爬虫只需要几分钟就能实现。对于已经了解了爬虫是什么，只是想知道怎么做的朋友，可以直接跳到下一篇文章。首先就来说一下爬虫的概念吧。
2017-03-19 16:26:26
901
原创 c++中模板类的使用
最近在数据结构的课程中很多周围的同学对模板类的使用抱有很大的困惑，看也能看懂，但写起来总是不明白…… 那就首先得知道为什么要用模板。 假设我有一个方法void swap(int& a,int& b){ int c = a; a = b; b = c}作用是交换两个参数，实现起来也很简单， 乍看上去挺好的，但我现在有另外一个需求，我需要交换两个double，这时候你可
2016-11-15 00:32:09
3880
原创 【arduino】通过Esp8266-01模块实现的WiFi通信（4）关于透传
原本计划这一篇就直接讲tcpserver，但是我发现如果没有透传的基本概念的话，很难讲清楚整个流程以及应用。 如果读者以前就明白透传的概念，那么可以直接跳过这一篇了。 接下来以零基础的方式来解释。透传的概念所谓透传，可以理解为“透过传输”或者“透明传输”。想像对着一块透明玻璃打激光灯，激光会穿过透明玻璃而不发生什么变化，这个过程就可以理解为透传的一种。更精确的一个例子是互联网，我们用户（或者
2016-10-11 22:13:11
20612
15
原创 Android 动态添加布局（layout）和控件（Widget）
众所周知写Android程序的页面布局是通过activity绑定xml文件中事先定义好的文件来实现的，这种实现方式叫做静态布局。但有时无法在程序运行前就决定好页面的布局，或者是控件的属性和数量本身要求不固定的，这种时候就要在程序中定义组件，我们称之为动态布局。 下面为大家介绍一下动态添加布局和控件的方法。首先创建一个测试用的activity，xml文件下我们只添加一个空的LinearLayout，
2016-08-10 15:22:54
16372
3
原创 自动接听电话的另一种思路（只需要root权限）
最近老师给了一个自动接听电话的项目，上网搜索所谓“自动接听电话”无一例外是调用了ITelephony接口中的answerRingingCall()方法。不得不说这个方法确实方便，如果忽略它需要MODIFY_PHONE_STATE权限的话，而后者在Android 2.3版本以后已经只能由系统应用拥有。 那我们怎么获得这个权限呢？继续查，发现还是千篇一律地复制粘贴同一篇博客：说第一种方法是到系统框架下
2016-08-07 22:53:38
2592
4
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人