- 博客(77)
- 收藏
- 关注
RSS订阅
原创 【论文阅读】FedProto: Federated Prototype Learning across Heterogeneous Clients
在进行联邦学习中解决异质性问题的调研，这篇文章发表于2022的AAAI，使用原型来解决这部分问题，同时还使用“模型异构“的概念（之前一般见到的都是系统异构）。一、阅读目标了解使用原型学习解决异质性的思路，以及可以借鉴的方向区分模型异构与系统异构两个概念，并总结二、问题回答构建以类别为单位的原型，服务器端通过原型的传递代替模型的聚合，并将聚合的原型返回客户端用于训练我认为二者是从属关系，模型异构应该属于系统异构的一个方面，但现在没有官方定义，大家仍然混用三、摘要动机：客户端之
2022-04-10 17:33:56
2193
3
原创 【知识建设】信息熵、条件熵、互信息、交叉熵及相对熵（KL散度）
一、信息熵1. 定义衡量一个随机变量XXX的信息量，用HHH表示根据这个定义，这应该是个不确定的值（随机变量是变化的），而数学上使用期望来将这种不确定性量化：H=∑x∈XP(x)∗xH = \sum_{x \in X}P(x)*xH=∑x∈XP(x)∗x的信息量其中xxx为随机变量XXX的不同取值那么问题就变成了如何在具体的情形（即一个事件）下，估算随机变量的信息量2. 语义理解先从语义上理解信息量应该满足的条件，当一件事的不确定性越大（概率越小），那么它所包含的信息量就应该越大，相反，不
2022-04-06 20:26:43
1820
原创 pytorch保存训练日志
之前在别人的代码中看到训练日志的保存，也想用到自己的模型中，学习下后发现原理很简单，这里简要总结下：train_log_filename = "train_log.txt"train_log_filepath = os.path.join(result_dir, train_log_filename)设置要保存的训练日志对应的路径，其中result_dir是用来存储所有结果的文件夹，结果包括但不限于：模型参数、训练日志、测试精度等；train_log_txt_formatter = "{time_
2021-08-16 12:10:46
6586
原创 windows上配置本地深度学习工作站
安装Anaconda、创建python环境、安装Jetbrains Toolbox、安装Pycharm、Professional/Community、安装cuda、安装cudnn、安装pytorch、配置环境变量、激活powershell的base环境
2022-10-23 11:26:32
2671
2
原创 【知识点合辑】numpy+torch+latex+jupyter notebook+python+Windows字典
字典式文章，只是为了方便查找
2022-08-08 10:30:51
1872
原创 【踩坑合辑】invalid device ordinal、python time 单位、IndexError: only integers, slices (`:`)
7.18踩的坑
2022-07-18 22:17:35
490
原创 【踩坑合辑】Attempting to deserialize object on CUDA device+buff/cache占用过高+pad_sequence
22.7.5遇到的坑
2022-07-05 21:48:11
485
原创 【代码学习】批量提取论文(pdf)的第一页
使用场景软件学报论文录用的收尾工作中，需要提交所有参考文献首页的电子版压缩包(以文献序号作为文件名)，也就是说，我一篇综述论文90+篇文献，需要逐一找到这些文献的pdf原版（现存电脑中的已经被我批注过了），然后逐一提取出pdf的第一页，这两件事情中，第一件事情较为复杂（因为所需论文的发表期刊/会议需要与引用一致），而第二件更简单且更耗时，所以付诸于程序python批量提取pdf的第一页from PyPDF2 import PdfFileReader, PdfFileWriterimport os
2022-05-29 17:34:07
1963
2
原创 【论文阅读】机器学习中原型学习研究进展
阅读目标寻找原型与偏差之间的关系了解原型学习的方法然后pick one阅后回答摘要动机：消除数据冗余、发现数据结构、提高数据质量方法：通过寻找一个原型集来表示目标集,以从样本空间进行数据约简分类：按照监督方式）：分为无监督、半监督和全监督；按照模型设计，分为基于相似度、行列式点过程、数据重构和低秩逼近概念和意义概念：设有源集XXX和目标集YYY，目标是从XXX中找到一个原型集Ω\OmegaΩ，使得Ω\OmegaΩ能够最大程度地保持目标集YYY所蕴含的信息，如下图：直接看概念
2022-05-21 23:02:55
2209
原创 【直觉建设】Transformer合辑
引言研究深度学习也有两年了，之前看transformer的论文，感觉完全看不懂，因此对transformer的理解都来自于网上的资源，印象比较深的是李宏毅-Transformer和Transformer 详解这两个资源，前者构建了我对自注意力的初始直觉，后者构建了我对整个模型架构的初步理解。然而，这些资源，学完之后总会有种隔靴搔痒的感觉，理解总是有些朦胧。这段时间佛系科研，又遇到了这些模型，准备重新从原文出发，构建出对transformer较为深入的直觉Transformer来自文章：2017-NIP
2022-05-21 22:46:48
717
原创 【直觉建设】归纳偏差与选择性偏差
文章目录归纳偏差选择性偏差两者区别适用情况常见的归纳偏差1. 正则项2. Batch Normalization和Layer Normalization3. 常见深度学习网络中的归纳偏差牢骚归纳偏差归纳偏差(Inductive biases)可以理解为一种先验或约束，他能够帮助我们在多个可能的模型中选择出一个。比如奥卡姆剃刀原则，他指示我们，在多个模型都符合条件时，我们选择最简单的那个正则项(regularization term)可以看作是在奥卡姆剃刀原则下指导的一个表现，我们想要选择最简单的那个模
2022-05-13 11:37:35
2538
原创 【踩坑合辑】pycharm远程连接服务器
动机使用windows自带的远程桌面连接连接远程服务器，使用起来太卡了，严重降低了我的写代码体验。于是尝试用pycharm远程连接服务器，这样就可以使用服务器上的环境和设备（GPU）了牺牲要在本地为项目预留空间，从而方便服务器和本地之间进行文件的上传与下载，这也导致项目内最好不要放太大的文件（比如数据集），否则上传和下载很耗时间要用远程的环境来运行jupyter的话，无法可视化变量，如下图：下载项目和配置环境最基本的远程连接服务器的需求，参考pycharm远程连接服务器完整教程，我就是完全
2022-05-08 23:19:43
1405
原创 【代码学习】C3D提取视频特征
学习目标理论补充：C3D网络特点动手能力 ：用C3D提取目标数据集（Charades-STA、ActivityNet Captions、TVR）的滑动窗口（64、128、256、512祯，各个窗口间80%的重叠）特征目标回答特点1）：使用3D卷积网络，能够在卷积过程中考虑时序信息，从而进行motion modeling；这是通过将frame视作通道来达到的，比如卷积核大小为3∗3∗33*3*33∗3∗3，那么每次的深度感受野就是333，也就是说，网络每次能在3帧之间建立起联系 特点2）使用同质
2022-05-07 22:20:17
2795
22
原创 【论文阅读】Interventional Video Grounding with Dual Contrastive Learning
阅读目标2021-CVPR上面利用因果理论（干预）来解决数据集的选择性偏置（selection bias）问题的，在2021-SIGIR上面也有一篇类似的，Deconfounded Video Moment Retrieval with Causal Intervention，也使用因果理论解决了bias问题，所以这次的学习目标：对比两篇文章在动机和方法上的不同总结vmr领域应对bias的方法阅读回答为了方便，将Deconfounded Video Moment Retrieval with
2022-05-02 22:53:16
1027
1
原创 【论文阅读】Conditional Generative Adversarial Nets
碎碎念参加jittor比赛，热身赛中使用的GAN模型，想起自己还没真正使用过GAN，希望通过这个机会学习下引入想要真正地理解世界，就应该能够生成世界的种种组成。因此出现了生成模型；生成模型是说，我们随机地生成一些图片（以图片任务为例），使得这些图片能够尽可能地描绘真实世界；然而这个标准很难量化去衡量（怎么样才算真实？），因此提出生成对抗网络GAN，同时设计生成器和判别器两个部分，生成器的任务是努力生成能够以假乱真的图片，而判别器的任务是尽可能区分生成的图片和真实图片；这样评判标准就清晰了，即是真
2022-04-28 22:25:48
883
原创 python中使用f-string报错SyntaxError: invalid syntax
查了一下f-string的用法，这种写法是没有错的，所以并没有出现语法错误。其实是因为python版本的问题，只有python3.6才能使用f-string的这种写法，如果不是python3.6，建议将f-string转化为等价的.format()形式，如：generator.load({:s}".format(opt.output_path))...
2022-04-28 10:22:19
4599
原创 SRL数据集准备
引言最近在了解使用SRL(Semantic Role Labeling)任务，学习Tagger代码的过程中，准备需要的数据集花了很多时间和精力，这里来记录下，为日后对新任务的学习积累经验~流程再现这个项目需要用到的数据集是CoNLL-2005，但是非常神奇，从这个链接中只能下载到对单词的标注，没有单词。给各位放张图感受一下这个大无语事件：也就是对于SRL这个任务而言，训练模型需要的是对谓词的指定（最左一栏的comment和produce），以及对谓词相关论元的标注（第二、三、四栏），然而数据集提供
2022-04-27 21:11:16
633
原创 【论文阅读】Deep Semantic Role Labeling with Self-Attention
碎碎念被迫要使用语义角色标注（Deep Semantic Role Labeling）技术，本来想直接使用github上的项目Tagger，奈何作者说自己本来用tensorflow写的，后来改成pytorch但没完全改（Model ensemble不可用，且预训练好的模型只提供了tensorflow版本的，需要用pytorch来调用），所以计划来读这篇文章，方便日后的改动任务设置给定一个句子，SRL(Semantic Role Labeling)的目标是定义每个目标动词的论元（可以简单理解为与目标动词
2022-04-23 20:50:16
2387
原创 PoS Tagging代码学习与应用
文章目录代码学习（模型训练）新数据集代入（模型应用）此阶段总结未来改进代码学习（模型训练）PyTorch PoS Taggingimport torchimport torch.nn as nnimport torch.optim as optim# torchtext.legacy是torchtext 0.9.0版本的，现在在官方文档中已经找不到了from torchtext.legacy import datafrom torchtext.legacy import datasets
2022-04-19 20:51:02
1498
原创 【论文阅读】计算机视觉经典论文合辑
文章目录引言AlexNetVGG-NetResNetInception models家族ResNeXt引言读经典论文，更能获得一些通用的idea启发，同时也是补充基础知识的过程。本文stepwise更新，且读且更新~AlexNet文章：2012-NIPS-Imagenet classification with deep convolutional neural networks使用了分组卷积：最初是因为显存不够使用的，后来被发现是一种很好的降低参数量的方式具体机制可以参考分组卷积：Grou
2022-04-18 22:43:35
2239
原创 【直觉建设】对卷积的理解
引言卷积，高数上的惊鸿一瞥，深度学习中熟悉的陌生人，这次终于决定来好好了解你，希望今后咱们的感情可以一直牢固…本质卷积描述了三个函数之间的关系，这里设为f,g,wf, g, wf,g,w，表示的是函数ggg作用于函数fff时产生的结果www，对于www函数中的每一个变量xxx，其值不仅与在xxx上ggg对fff的作用有关，还与xxx的前后时刻相关，因此要汇总这样一个影响，就可以利用加权求和（离散变量）/积分（连续变量）的手段，我们称这种情况下的加权求和/积分为卷积，表达式为：w(x)=∑τ=−∞∞f
2022-04-18 15:52:38
2363
原创 Video Corpus Moment Retrieval实验设置记录
2019-arXiv-Temporal Localization of Moments in Video Collections with Natural Language数据集：DiDeMo, Charades-STA, and ActivityNetcaptions.评价标准：R@KR@KR@K, K∈{1,10,100}K\in \{1, 10, 100\}K∈{1,10,100}, IoU∈{0.5,0.7}IoU \in \{0.5, 0.7\}IoU∈{0.5,0.7} & 正确检索
2022-04-13 16:25:31
374
1
原创 【科研记录】如何判断（你自己的）研究工作的价值
本文是对李沐大神的视频：如何判断（你自己的）研究工作的价值的记录笔记和相关感悟，因为感觉字字珠玑，所以整理一下，希望今后在阅读论文和完成自己工作时，可以更方便地拿来对照（视频这种模态不太方便对照）好工作的定义用有新意的方法有效的解决一个研究问题研究：指研究问题 or 工程问题；如果还没有试的时候，就能得到解决方案，而且能预知这个方案肯定是有效的，那就是工程问题，比如跑模型时内存不够；而研究问题，指那些解决方案较难获得，而且大概率前几个解决方案可能不work的问题；有效：相对于之前的工作，解决工作的方
2022-04-09 16:17:15
480
原创 【论文阅读】Adaptive Cross-Modal Prototypes for Cross-Domain Visual-Language Retrieval
文章目录阅读目标问题回答摘要引入方法网络输入视觉编码器EvE_vEv和文本编码器ElE_lEl文本龙骨KlK_lKl视觉龙骨KvK_vKv源原型网络PsP^sPs目标原型网络PtP^tPt子网络及输入输出最大化互信息阅读目标了解在跨模态检索中如何构建原型了解本文是如何应对non-iid问题的问题回答原型在本文中是一个线性映射层的参数，此映射层的输出代表原型表示给每个样本分配的概率，原型对照的基准是作者通过聚类自主构建的龙骨（聚类中心），而样本对照的基准则是龙骨对每个样本分配的概率最
2022-04-08 19:33:51
1038
原创 细粒度知识补充
不是做细粒度方向的，这里只是简单补充一点直觉知识，不深究Mixup+CutMix两种经典的图像增广方式（下图说明一切）看图的直观感觉：Mixup的问题根本就是凑出一个四不像，语义上没有什么含义，这样凑出的样本真的有意义吗？CutMix，加了狗图像的那一小块，根本就无关痛痒，并没有给整个图像的识别增加太大难度SnapMix针对细粒度图像分类的一种图像增广方法，主要动机是细粒度图像分类比较关注细节，而上面两种方式可能正好就会覆盖掉关键细节，从而生成无效的训练图片...
2022-04-01 11:34:47
120
原创 mask的用法
之前无数次遇见mask，这次总算搞懂了，简单总结下：控制损失中不同样本的分量假设损失是对N个样本的单独损失求和，而网络对某些样本的预测已经足够精确了，这时候就可以利用mask（我也不懂为什么要叫mask）控制损失计算时，不同样本的权重，让损失更关注结果差的样本masks = torch.zeros(len(index)).float().cuda() # 创建masksfor m in range(len(masks)): iou = get_iou(index[m], gt_index[m]
2022-03-30 16:46:58
3624
原创 idea不work时的应对方式
idea不work，对我来说是科研过程中遇到的最大困难。假设到了这一步，一般idea的逻辑已经理清楚了，代码也实现出来了（当然这两步也经常出问题），但代码结果并不像你预想的那样work，这时候，可能的原因就比较多了；这里仅仅整理深度学习情境下（用torch实现），可能的原因可能陷入局部最优解（非全局最优）torch.manual_seed(0)np.random.seed(0)可以将上面的随机种子换一换（这里假设只用到了torch和numpy的随机），将0改成其他值就可以反向传播不顺利
2022-03-30 10:48:46
405
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人