liaoshenglan-CSDN博客

原创结合知识蒸馏的增量学习方法总结

结合知识蒸馏的增量学习方法总结知识蒸馏（Knowledge Distillation）最早是在Hinton的《Distilling the Knowledge in a Neural Network》一文中提出，运用在图像分类任务上，并迅速在其他领域广泛应用开来。知识蒸馏通过引入教师网络（Teacher network：复杂度高、但推理性能优越）以指导学生网络（Student network：...

2020-02-29 22:09:46 3352

原创 Merging Weak and Active Supervision for Semantic Parsing论文笔记

AAAI 2020论文地址 https://arxiv.org/pdf/1911.12986.pdf源码地址 https://github.com/niansong1996/wassp （现在为空，待作者更新）要点：整体弱监督 + 少量数据标注（主动学习active learning）符号含义：MR：meaning representationMotivation强监督：需要大量标注...

2020-02-28 18:04:02 386

原创 Distilling transformers into simple neural networks with unlabeled transfer data论文解读

Distilling transformers into simple neural networks with unlabeled transfer data论文地址：https://arxiv.org/pdf/1910.01769.pdfmotivation一般来说，蒸馏得到的student模型与teacher模型的准确率还存在差距。文章利用大量in-domain unlabeled t...

2020-02-28 17:44:29 850

转载损失函数总结（转）

转载：https://www.cnblogs.com/luxiao/p/5783017.html损失函数（loss function）是用来估量你模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y, f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项，通常可...

2019-10-14 21:23:09 895

原创 Leetcode 单链表题型总结

Leetcode 单链表题型总结自己刷题的一个小记录，难度从easy --> hard，持续更新中。若有更好的方法，欢迎评论区讨论呀。876. 返回单链表的中间节点。如果有两个中间节点，返回第二个。两种思路，第一种是先遍历一遍，记录长度后，再遍历到一半。时间复杂度O(n)第二种是用两个指针，一快一慢，快指针每次走两步，慢指针每次走一步，当快指针走到链表最后时，慢指针所指的就是中间节...

2019-09-07 12:00:08 265 1

原创 Harnessing Deep Neural Networks with Logic Rules论文解读

作者信息：Zhiting Hu、Xuezhe Ma、Zhengzhong Liu、Eduard Hovy、Eric P.Xing，都来自CMU问题：深度神经网络一个很大的问题是不可解释性，另一个问题是往往需要大量的训练数据。因此，我们希望能够在深度神经网络中引入一些知识，一方面可以帮助训练，另一方面能提高模型的可解释性。具体的知识形式可以采用逻辑规则，因为它能较好地建模人类的认知思维和先验知识...

2018-09-07 20:14:31 2232 5

原创《Language to logical form with neural attention》被引论文

《language to logical form with neural attention》这篇文章使用了seq2seq模型，引入attention机制，将自然语言翻译到其逻辑形式。并提出了一种新的seq2tree模型，树状结构的效果更好。在Google scholar上，该论文被引用96次。现将引用该论文的论文进行整理，了解该方向最新的科研进展。Data Recombination...

2018-08-30 17:26:04 912

原创 Ubuntu14.04安装Nvidia显卡驱动+cuda8.0+cudnn5.1+tensorflow

Ubuntu14.04安装Nvidia显卡驱动+cuda8.0+cudnn5.1+tensorflow初始环境：系统：ubuntu14.04 LTS 显卡：双显，Intel+Nvidia gtx1050。Intel用于显示，之前没有使用过Nvidia这块独显。 python 2.7 + python 3.4 显卡驱动的安装有多种方法，这里我们采用run文件安装。Nvidi...

2018-05-11 21:13:04 467

原创 Language to Logical Form with Neural Attention论文解读

摘要：语义解析的目的是将自然语言映射到机器可解释的意义表示。传统的方法依赖于高质量的词典、手工构建的模板和语言特征，它们要么是特定域的，要么是特定表示的。在本文中，我们提出了一种基于注意力增强的encoder-decoder模型的一般方法。我们将输入的自然语言编码为向量表示，并通过调节编码向量上的输出序列或树来生成它们的逻辑形式。四个数据集上的实验结果表明，我们的方法执行竞争力，而不使用手工工程的...

2018-05-10 22:20:01 1704

原创 autoware安装、配置和快速使用

autoware安装配置目录autoware安装配置目录依赖的环境安装依赖项open CVQT5系统依赖项autowareautoware入门快速使用建立目录autoware来保存demo数据下载demo数据解压生成launch文件运行runtime manager运行rosbag启动RViz加载点云图和向量图定位任务规划运动规划autoware是一款开源的无人车

2017-11-09 00:21:01 15308 13

liaoshenglan的博客