- 博客(23)
- 收藏
- 关注
RSS订阅原创 对抗训练：对抗训练中的过拟合现象和对抗训练技巧总结
什么是对抗训练中的过拟合？既在训练集上做对抗训练的过程中，训练集的对抗鲁棒性仍在上升，测试集的对抗鲁棒性却下降了。同时两者的分类精度也在持续上升。常用的解决方案有early stopping，添加额外数据训练（有标签，或者无标签）。模型集成与参数平均上图a中现实的就是在使用额外数据时对测试集对抗样本准确度的变化。有研究发现在对任意两次训练得到的模型进行集成，得到的集成模型有更好的对抗鲁棒性。自然的，半监督学习中常用的模型参数动量更新的方式也可以考虑成不同epoch模型的集成。下图中展示了不同轮次
2021-12-16 15:55:09
1450
原创 t-SNE的正确打开方式
引言t-SNE是可视化高维向量的常用手段，但是盲目调用sklearn包并不是t-SNE的正确打开方式，知其然还要知其所以然，这样才能基于正确的可视化结果得到可能正确的猜想。参考文章：1.https://towardsdatascience.com/why-you-are-using-t-sne-wrong-502412aab0c02.http://deeplearning.csail.mit.edu/slide_cvpr2018/laurens_cvpr18tutorial.pdf3.https:
2021-10-15 23:20:09
376
原创 （转载）对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？
1.对自己深度学习方向的论文有idea，可是工程实践能力跟不上，实验搞不定怎么办？2.知乎问题有了学术积累和idea后，就需要快速复现idea。刚开始我有一个误区：科研一定要从0做到1。后来导师告诉我大可不必这样。聪明的人会先参考别人的解决方案(特别是SOTA)，在学习过程中强化工程和coding水平，形成更优雅的代码风格。这就像站在巨人的肩膀上，我可以基于他们的工作实现自己的想法，取其精华，去其糟粕。在你基础较差时，提高代码能力最好的方法绝对不是头铁地去楞写，而是阅读别人写的优质代码。
2021-09-03 22:13:24
216
原创 噪声标签1：Co-learning: Learning from Noisy Labels with Self-supervision
前言Co-learning: Learning from Noisy Labels with Self-supervision发表信息：ACM MM 2021Paper：https://arxiv.org/abs/2108.04063Code：无一、核心思想核心思想：在co-teaching的基础上，通过结合自监督任务和原有有监督任务协同训练。损失：损失分成三个部分，分别是有监督交叉熵损失，自监督的infoNCE损失和多任务的结构一致性损失。实现细节：三个增广：weak Aug 用于有
2021-09-01 17:14:33
1894
原创 ICCV2021 论文略读
前言我硕士期间主要关注的方向是少样本学习，长尾分布，噪声标签学习等。之前视野不够开阔，只关注了图像分类相关的工作，但是我意识到要真正的和实际需求相结合，就必须也也关注包括图像分割，目标检测等方向的工作，同时也应该对low level方向的工作有所了解，这些在实际中的用处也很丰富。这篇文章主要整理自己粗略过一遍ICCV2021自己比较感兴趣的文章，主要是对摘要的阅读和自己的对摘要的理解。另外，为了方便复现，提供开源代码的工作是我们优先关注的对象，论文list链接：ICCV2021-Papers-with
2021-08-28 22:42:55
2423
原创 少样本学习2：Revisiting Local Descriptor based Image-to-Class Measure for Few-shot Learning
前言发表信息：2019CVPR文章链接：https://arxiv.org/abs/1903.12290代码链接：https://github.com/WenbinLee/DN4鉴于已有相关博文对这篇文章进行分析：https://blog.csdn.net/qq_36104364/article/details/106479996我补充一些自己的阅读感受。一、核心思想作者开门见山指出自己收到NBNN（Naive Bayes Nearest Neighbors)的启发，通过将传统metric-b
2021-08-25 16:42:26
856
1
原创 少样本学习1：Revisiting Deep Local Descriptor for Improved Few-Shot Classification
前言通常解决小样本学习任务有两种主要的思路：迁移学习：最简单的方法是利用预训练好的特征提取器，使用少量的有标签样本对novel class重新训练一个分类器。元学习：基本思想是在base class 中构造小样本学习的任务来达到一个能够对小样本任务快速适应的模型。隐含的假设是构造的任务和实际测试的任务应该是同分布的（什么叫做the same distribution task 目前还没有明确的定义，有人说是形式一样，比如都是5-way-5-shot，这就叫做同分布）。一般会将数据集分成meta-tr
2021-08-24 23:07:34
491
原创 A good paper a day ~
序都说好记性不如烂笔头，深度学习方向的论文质量层次不齐，为了便于记录自己思考的过程，我决定写博客记录自己所读到的论文，虽然这需要花费一点时间，但我相信这是值得的。从今天开始！...
2021-08-24 22:17:19
86
原创 Kmeans and EM
Kmeans 算法下面给出kmeanskmeanskmeans算法的一般步骤：初始化kkk的中心点，计算所有数据点到这些中心点的距离，并且将点划分大距离最近的中心点集中，完成对数据的kkk划分在kkk个点集中重新计算集合的中心点，使得集合中所有点到中心点距离知乎最小重复上述过程至收敛注意 ：KmeansKmeansKmeans 算法不能保证全局的最优解EM 算法（待修改）EMEM...
2019-10-29 22:14:12
158
原创 machine learning_probability
关于随机变量的数字特征均值，方差，协方差更专业的说法叫做随机变量的数字特征，均值叫做一阶中心距，方差叫做二阶中心距等等均值：E(X)=∫−∞+∞x∗p(x)dxE(X)= \int_{-\infty}^{+\infty}x*p(x)dxE(X)=∫−∞+∞x∗p(x)dx方差：Var(x)=∫−∞+∞px∗(x−E(x))2dxVar(x) = \int_{-\infty}^{+\in...
2019-10-08 14:00:46
233
原创 算法复习（经典问题整理）
（分治，动态，贪心）经典问题整理分治：1、求两个有序数组的中位数和Topk问题参考：https://www.cnblogs.com/voidsky/p/5373982.html实际上述解法的渐进时间复杂度为O（logn），在第一个数组中不断二分查找c1的位置从而c2的位置也随之固定。2、黑白点配对问题： 给定平面上 n 个白点和 n 个黑点，试设计一个分治算法将每个白点与一个黑 点相连，...
2019-06-23 15:47:04
1447
原创 SC Chapter3 OOP&ADT Review（2）
3.4 Object-Oriented Programming (OOP)3-3节学习了ADT理论本节学习ADT的具体实现技术：OOPInterface（接口）接口是一系列方法签名，没有实现继承接口的类需要实现（overrride）类中定义的方法，所以一个接口可以有多种实现；– Interface和Class: 定义和实现ADT接口：确定ADT规约；类：实现ADT– 接口之间可以继...
2019-06-19 22:41:51
148
原创 SC Chapter3 OOP&ADT Review（1）
Chapter 3: Abstract Data Type (ADT) and Object-Oriented Programming (OOP)introduction这是在2019年六月复习软件构造的时候的整理笔记，不会只是简单的整理翻译课程PPT；对于简单的内容只是提提即可，对于实验中遇到的问题会做尽可能详细的说明。outlineData type in programming l...
2019-06-18 21:06:56
280
原创 SC Chapter 2: Process and Tools of Software Construction Review
Chapter 2: Process and Tools of Software Construction2.1 Software Lifecycle and Configuration Management第一章讲述了软件构造的结果第二章介绍具体流程，版本控制，重点介绍了git 和 github 的原理Traditional Software process models （传统设计模型...
2019-06-18 13:18:38
251
原创 SC Chapter 1:Views and Quality Objectives of Software Construction Review
Chapter 1: Views and Quality Objectives of Software Construction1.1 Multi-Dimensional Views of Software ConstructionOutlineMulti-dimensional software views–By phases: build-and run-time views–By ...
2019-06-18 11:01:22
255
原创 关于thread的一个小实验
最后的一个实验Lab6，关于多线程编程，但是我却对thread之间的interleaving有一些小小的疑惑，那就是是不是会出现PPT讲义中说陈述的那种情况。所以为了解决迷惑，我写了几个小程序测验了一下：首先我将讲义中关于银行账户的程序复现了一下，main函数中设置了一个循环，创建了100个线程，看看结果：如果没有interleaving现象，那应该出现1,2,3,4,5,6…public...
2019-06-02 15:32:38
219
原创 Scaner的一个异常
起因：在函数中新建scanner对象，然后多次调用此方法出现上述异常原因：Scanner（system.in）在Scanner中接受的是键盘 输入，当调用close（）方法时Scanner的关闭会导致System.in的关闭，System.in是标准输入（键盘输入），只能关一次，关闭后不能再打开。所以如果函数方法中多次涉及Scanner ，可以考虑在类成员变量中添加scanner，作为公共资...
2019-05-31 14:21:22
344
转载 正则表达式 一
正则表达式中^的两种意思转载自：https://www.cnblogs.com/niuni-623/p/6520680.html/^A/会匹配"An e"中的A，但是不会匹配"ab A"中的A，此时^A的意思是“匹配开头的A”，类似的有/[(^\s+)(\s+$)]/g(^cat)$(^cat$)^(cat)$^(cat$)/[^a-z\s]/会匹配"my 3 sisters"中的...
2019-05-24 12:12:39
86
原创 Lab3 Software Construction requirement and spec
0 写在之前这次实验工作量很大（其实也没多少），但是如果把所有工作都放在五一小长假来完成，就会显得非常非常多。这次实验的得失：继续lab2中p3的面向对象编程，只不过这次不是直接面向应用，而是从应用中先提取出一套ADT，然后通过继承和委托的方式实现三个应用，全部框架都需要自己搭建，构思。学习的正则表达式的使用：但是还是有很大差别：我的正则表达式最初能成功将txt文件读入，但是没办法细化识别，...
2019-05-14 12:07:33
213
原创 Lab 2 Software Construction
3.1 Poetic Walks这个问题实际上是在帮助我们建立对ADT的基本印象，包括ADT设计的一些规约，方法，如何设计一个能够泛型化的ADT。通过P1，我们在做实验的过程中加深了对AF（Abstract Function），RI（Represent Invariant），rep exposure 这些抽象概念的理解，积累了一些如何避免表示泄露的方法。这个实验很好的给出了一个如何设计泛型AD...
2019-04-15 23:11:57
288
原创 JAVA 基础入门 txt文件读取
JAVA 基础入门之笨鸟要学会飞本学期HIT开始了自己的教学改革的第二年，于是我们开始了软件构造的苦逼课程。全程自学，也算是程序员人生入门了。不过说实话这种感觉还是挺好的，至少感觉自己有点能和开发搭边了。废话不多说了。软件构造实验一P1： MagicSquare其实程序的思路很简单，刚开始比较吓唬人的是需要将矩阵从txt文件中按每一行读入，然后用split函数去掉‘\t’,存储到一个二维矩...
2019-03-11 09:16:43
697
原创 程序人生-Hello’s P2P CSAPP HIT
第1章 概述1.1 Hello简介Hello是每个程序员最先接触到的程序，大部分IDE是直接默认生成的，程序员需要做的只需要按两下鼠标，完成编译，就可以运行了。屏幕上出现hello。。。但实际上的过程不能用轻松两个字来描述。Hello.c是用高级语言C编写的，我们要经过预处理，编译，汇编等过程，才能作为机器能读懂的机器代码储存在磁盘中。Hello现在的状态叫程序（Program），用户通过s...
2018-12-30 02:41:21
1528
1
原创 c fflush函数
C编程fflush 函数最近学习计算机系统第八章 异常的时候涉及到fflush函数的相关知识，有些疑惑，就做了几个小的测试函数试验一下首先需要知道stdout采用的是行缓冲模式，即printf中如果不加换行符，程序是不会直接在屏幕上打印printf中的内容的，只有当程序碰到1、\n2、程序结束3、调用fflush函数才会在屏幕上打印。我现在网站上搜了一点资料，发现有的实验做出来结果不...
2018-12-18 11:02:14
480
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人