笔记
文章平均质量分 57
sunlanchang
北京邮电大学-计算机硕士,sunlanchang@bupt.edu.cn
展开
-
常用知识点
AUCAUC计算,实现,含义AUC是ROC下的面积,对采样不敏感,优化目标是提高真正例率,降低假阳性(让模型更加的保守)PR曲线和ROC曲线在在样本不均衡的情况下表现有较大差异,即当测试集中的正负样本的分布变化的时候,ROC曲线能够保持不变。举个例子有个测试数据集 1 1 2 2 2 2,其中已经知道1为正样本,2为负样本。假设模型对于负样本预测的假阳率=FP/(FP+TN),可以明显看到分子FP来自2 2 2 2之中,分母(FP+TN)也来自2 2 2 2中,如果将负样本扩大一倍变成2 2 2原创 2021-08-03 22:04:01 · 196 阅读 · 0 评论 -
Intend Classification Engine
Data & Code链接: https://pan.baidu.com/s/19WEMuPRQVP4yRMO6xJeLPg 提取码: uehm 复制这段内容后打开百度网盘手机App,操作更方便哦文件结构:.├── train_test_data├── newest_train_with_norm├── newest_validation_with_norm├── DNN_multi_gpu_v4.py├── label_dict.json├──LoadData_TfidfFeat原创 2021-02-08 17:02:40 · 312 阅读 · 0 评论 -
Python自定义排序
还是不习惯python的key方法,习惯了C++的cmp函数,这里需要用到cmp_to_key的方法即可。C++中x[0] < y[0]即可升序,这里是x[0] - y[0]from functools import cmp_to_keya = [[0,1],[0,2],[4,5],[2,3]]def cmp(x,y): if x[0] == y[0]: # 第一个元素相同 return x[1] - y[1]# 那就按照第二个元素升序 return x[0] -原创 2020-10-24 14:57:32 · 290 阅读 · 0 评论 -
Attention is all you need注意的点
这里是对self-Attention具体的矩阵操作,包括怎么separate head,如何进行的QK乘法等细节做了记录,以便自己以后查看。dot-product Attention其中的Xn,dmodelX^{n,d_{model}}Xn,dmodel一般是seq序列,n为序列的长度,dmodeld_{model}dmodel为序列的emedding维度。在self-attention中dkd_kdk和dvd_vdv是相等的。multi-head Attention其中的Xbs,len.原创 2020-10-22 17:39:05 · 664 阅读 · 0 评论 -
FCOS训练学习率策略
一共训练9000次,在6000次降低到1/10,在8000次再降低到1/10,可以理解为训练周期的2/3时降低1/10。原创 2020-08-13 16:39:43 · 360 阅读 · 0 评论 -
归一化
Batch Normlization在特征的维度进行归一化原创 2020-08-10 22:12:22 · 93 阅读 · 0 评论 -
RNN with attention推导
推导过程原创 2020-06-07 18:46:18 · 262 阅读 · 0 评论 -
pandas groupby参考
groupby参考原创 2020-05-23 11:31:55 · 100 阅读 · 0 评论 -
模型部署
参考视频原创 2020-05-05 20:12:07 · 595 阅读 · 0 评论 -
VUE解决跨域CORS
参考视频参考文章原创 2020-04-26 20:04:34 · 7529 阅读 · 0 评论 -
BM25与TF-IDF
BM25 wilipedia参考搜索中的权重度量利器: TF-IDF和BM25原创 2020-04-22 12:03:59 · 747 阅读 · 0 评论 -
BLEU理解与计算
吴恩达讲解公式举例BLEU论文原创 2020-04-21 21:09:26 · 338 阅读 · 0 评论 -
Python 繁体中文与简体中文相互转换
Python 繁体中文与简体中文相互转换原创 2020-04-10 14:34:11 · 721 阅读 · 0 评论 -
理解Embedding
理解Embedding原创 2020-04-06 21:50:11 · 249 阅读 · 0 评论 -
Latex编译过程
xelatex demo.texbibtex demo.augxelatex demo.texxelatex demo.tex原创 2020-04-02 12:37:49 · 621 阅读 · 0 评论 -
XGBoost推导过程注释
总结推导过程原创 2020-03-29 12:24:18 · 191 阅读 · 0 评论 -
BERT 报错教训!
形如这种错误requires shapes of both tensors to match. lhs shape= [128,128] rhs shape= [768,768]是原先训练保存的checkpoint没有及时删掉,而bert又加载了进来,即使是从预训练模型加载,官方提供的bert代码也会从自己训练的checkpoint加载。个人猜测:如果没有自己训练的checkpoint那...原创 2020-03-28 22:54:12 · 1016 阅读 · 0 评论 -
NLP综述
NLP综述原创 2020-03-21 10:59:51 · 220 阅读 · 0 评论 -
Keras中LSTM输入输出与参数计算
Keras中的LSTM原创 2020-02-23 19:06:21 · 1946 阅读 · 0 评论 -
FCOS 计算loss源码解读
FCOS loss计算源码解读最近在看FCOS论文总觉得不够具体,特此调试了源代码解读源代码以供自己以后查看。其中有很多技巧如果不是读作者源码是很难想到的。包含一下内容:如何根据原始数据的box坐标生成loss函数需要的box样式如何根据大小不同box的分配不同level的特征图"""This file contains specific functions for computi...原创 2020-01-13 18:29:07 · 2494 阅读 · 1 评论 -
空间可分离卷积、深度可分离卷积、分组卷积联系区别
空间可分离卷积、深度可分离卷积、分组卷积联系区别空间可分离卷积将卷积核矩阵M分解为m1和m2,对输入图片先用m1卷积,在对m1卷积的结果用m2卷积。深度可分离卷积:对输入图像的每个通道分别设置一个卷积核,卷积出的结果通道数与原图保持一致,后使用point-wise 1*1卷积调成需要的通道数。分组卷积:group=2时,将输入图像和卷积核按照通道数拆成2组,两个卷积核的个数分别为Chane...原创 2020-01-03 17:12:45 · 1307 阅读 · 2 评论 -
动态卷积论文复现
微软最新文章Dynamic Convolution: Attention over Convolution Kernels中动态卷积的复现。class DYconv(nn.Module): def __init__(self, inchannel,outchannel ,kernel_size,stride,reduction=4,K=4,t=30): super(DY...原创 2020-01-03 15:08:25 · 2044 阅读 · 2 评论 -
FCOS加入ASFF的Attention机制
FCOS加入ASFF加权结构将FCOS中fpn.py替换为下面代码即可。# Copyright (c) Facebook, Inc. and its affiliates. All Rights Reserved.import torchimport torch.nn.functional as Ffrom torch import nnclass ASFF(nn.Module):...原创 2020-01-03 15:06:08 · 3779 阅读 · 25 评论 -
ASSF源码解读
Learning Spatial Fusion for Single-Shot Object Detectionclass ASFF(nn.Module): def __init__(self, level, rfb=False, vis=False): super(ASFF, self).__init__() self.level = level ...原创 2019-12-31 16:55:17 · 2358 阅读 · 5 评论 -
FCOS中Resize多尺度训练源码解读
FCOS build和transformsclass Resize(object): def __init__(self, min_size, max_size): if not isinstance(min_size, (list, tuple)): min_size = (min_size,) # min_size是一个范围,...原创 2019-12-30 15:40:43 · 557 阅读 · 1 评论 -
word2vec ELMO GPT Bert的继承关系
从word2vec到ELMO到GPT在到Bert从上图可见,Bert 其实和 ELMO 及 GPT 存在千丝万缕的关系,比如如果我们把 GPT 预训练阶段换成双向语言模型,那么就得到了 Bert;而如果我们把 ELMO 的特征抽取器换成 Transformer,那么我们也会得到 Bert。所以你可以看出:Bert 最关键两点,一点是特征抽取器采用 Transformer;第二点是预训练的时候采...原创 2019-12-27 11:26:57 · 464 阅读 · 0 评论 -
FLOPS、MAdds、MACC指标
FC、Conv等FLOPS计算FLOPS, floating point operations per second. 每秒的浮点运算数。MADD、MACC(multiply-accumulate operations):先乘起来再加起来的运算次数。y = w[0]*x[0] + w[1]*x[1] + w[2]*x[2] + ... + w[n-1]*x[n-1]上面的运算有n次...原创 2019-12-23 15:44:56 · 9488 阅读 · 0 评论 -
常用3*3卷积
二倍下采样:卷积核33,stride=1same卷积:卷积核33,stride=2原创 2019-12-16 17:40:14 · 3333 阅读 · 0 评论 -
为什么CNN中的卷积核一般都是奇数*奇数?
为什么CNN中的卷积核一般都是奇数*奇数?原创 2019-12-16 17:24:33 · 283 阅读 · 0 评论 -
PyTorch分布式训练
单机多卡、多机多卡并行训练原创 2019-12-13 16:14:21 · 229 阅读 · 0 评论 -
overfeat论文解读
overfeat详解原创 2019-12-11 11:13:26 · 231 阅读 · 0 评论 -
EfficientNet和EfficientDet总结
EfficientDet使用EfficientNet作为backbone,EfficientNet共有9个stage,其中stage2到stage8可以提取特征图,但是EfficientDet使用了stage4到stage8,共5层特征图进行融合。如下图所示,EfficientDet的结构如下,使用了stage4~stage8提取也就是P3到P7提取特征图,下图所示是EfficientDet ...原创 2019-12-10 15:17:41 · 4962 阅读 · 6 评论 -
上采样方法、反卷积、空洞卷积
上采样方法总结unpooling插值:线性插值、双线性插值、临近插值反卷积(转置卷积、空洞卷积):对原始特征图周边padding或者元素之间padding然后在进行卷积。...原创 2019-12-10 13:34:16 · 950 阅读 · 1 评论 -
PyTorch调试dataloader
batch_iterator = iter(val_dataloader)images, targets = next(batch_iterator)原创 2019-12-08 11:53:47 · 631 阅读 · 0 评论 -
vscode调试使用其他id的GPU
{ "version": "0.2.0", "configurations": [ { "name": "Python: 当前文件", "type": "python", "request": "launch", "program": "${file}", ...原创 2019-12-06 16:36:23 · 1523 阅读 · 0 评论 -
SSD、RetinaNet、FCOS
SSD具体前向过程原创 2019-12-06 15:42:30 · 1494 阅读 · 0 评论 -
batch size并不是越大越好
一般设置为2到32,参考论文解释We have presented an empirical study of the performance of mini-batch stochastic gradient descent, and reviewed the underlying theoretical assumptions relating training duration an...原创 2019-12-05 14:58:17 · 2287 阅读 · 0 评论 -
VScode调试Runtime error报错解决
raise RuntimeError('already started') RuntimeError: already started解决:import multiprocessingmultiprocessing.set_start_method('spawn', True)原创 2019-12-05 11:02:58 · 1820 阅读 · 0 评论 -
Conv2D中groups参数理解
Conv2D中groups参数理解原创 2019-12-04 13:32:48 · 1994 阅读 · 0 评论 -
Anchor based方法
Anchor-Based-01 目标检测算法设计思想一:anchor是什么原创 2019-12-04 11:12:48 · 725 阅读 · 0 评论