![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Deep learning
文章平均质量分 87
介绍、总结深度学习
MasterQKK 被注册
算法工程师
展开
-
[论文评析]U-Time: A Fully Convolutional Network for Time Series Segmentation Applied to Sleep Staging,
U-Time: A Fully Convolutional Network for Time Series Segmentation Applied to Sleep Staging, U-Net,原创 2023-09-25 15:17:05 · 300 阅读 · 0 评论 -
[论文评析]Robust Peak Detection for Holter ECGs by Self-Organized Operational Neural Networks,IEEE TNNLS
Robust Peak Detection for Holter ECGs by Self-Organized Operational Neural Networks,IEEE TNNLS, Self-ONN, R-peak detection;原创 2023-07-28 11:51:42 · 273 阅读 · 0 评论 -
[论文评析]Robust R-Peak Detection in Low-Quality Holter ECGs using 1D Convolutional Neural Network,
Robust R-Peak Detection in Low-Quality Holter ECGs using 1D Convolutional Neural Network, IEEE TBME, 2022原创 2023-07-27 14:22:54 · 236 阅读 · 0 评论 -
[论文评析]Full parameter fine-tuning for large language models with limited resources,ArXiv 2023
Full parameter fine-tuning for large language models with limited resources, Low memory Optimization (LOMO), LLM, 全量微调, Full parameter fine-tuning原创 2023-07-23 14:15:49 · 359 阅读 · 0 评论 -
[论文评析]Heartbeats Classification Using Hybrid Time-Frequency Analysis and Transfer Learning Based on
IEEE JBHI-2021-Heartbeats Classification Using Hybrid Time-Frequency Analysis and Transfer Learning Based on ResNet,Data imbalance, Oversampling, Undersampling,MIT_BIH, Hilberttransform (HT) and the Wigner-Ville distribution (WVD), Time-frequency analy原创 2023-07-07 11:40:21 · 95 阅读 · 0 评论 -
[论文评析-工程]MAE-DET: Revisiting Maximum Entropy Principle in Zero-Shot NAS for Efficient Object Detecti
MAE-DET: Revisiting Maximum Entropy Principle in Zero-Shot NAS for Efficient Object Detection, NAS原创 2022-12-22 19:13:24 · 493 阅读 · 3 评论 -
[论文评析]Gradient Centralization: A New Optimization Technique for Deep Neural Networks, ECCV, 2020
Gradient Centralization: A New Optimization Technique for Deep Neural Networks, ECCV,2020GC, Batch Normalization (BN), Weights standardization (WS)原创 2022-09-24 15:20:47 · 230 阅读 · 0 评论 -
深度深度网络设计中各种归一化方法总结
批归一化Batch Normalization, BN层归一化Layer Normalization, LN实例归一化, Instance Normalization, IN自适应实例归一化, Adaptive Instance Normalization, AdaIN,组归一化, Group Normalization, GN权重归一化, Weight Normalization, WN统一的数学表达形式原创 2022-03-07 17:32:26 · 5325 阅读 · 0 评论 -
单次目标检测器之YOLO I
YOLO, NMS, One-stge原创 2022-02-27 19:57:25 · 592 阅读 · 0 评论 -
目标检测概述
(1) 基于固定滑窗的目标检测方法(2) 基于候选区域的方法 R-CNN, Fast R-CNN, Faster R-CNN(3) 单次目标检测方法 SSD, YOLO系列(4) 基于非卷积架构的目标检测器 DETR原创 2022-02-27 17:44:42 · 2608 阅读 · 0 评论 -
[论文评析] ICLR,2021,An image is worth 16x16 words-transformers for image recognition at scale
An image is worth 16x16 words-transformers for image recognition at scale贡献Vision Transformer点评总结Reference论文题目:An image is worth 16x16 words-transformers for image recognition at scale单位:Google Research, Brain Team贡献1.是将Transformer应用到Image classificat原创 2021-08-12 19:00:26 · 303 阅读 · 0 评论 -
[论文评析] ArXiv-2021,Pyramid Vision Transformer A Versatile Backbone for Dense Prediction without Convo
Pyramid Vision Transformer A Versatile Backbone for Dense Prediction without ConvolutionsImage-level prediction taskPixel-level dense prediction task提出了所谓的Pyramid Vision Transformer (PVT), PVT可以作为各种密集预测任务的backbone。进一步将PVT个DETR结合可以构建端到端的目标检测系统, 无需Conv. o原创 2021-08-11 19:12:29 · 625 阅读 · 0 评论 -
[论文评析]ArXiv,2021, CrossFormer技术分析
ArXiv,2021, CrossFormer: A versatile vision transformer based on cross-scale attention,当前的Vision Transformer在进行Attention时并没有考虑特征的多尺度信息,而考虑多尺度特征信息在CV中非常重要LSDA, Cross-scale Embedding layer (CEL)`和`Long-Short Distance Attention (LSDA)`原创 2021-08-06 17:31:01 · 610 阅读 · 0 评论 -
[论文评析] ArXiv,2021, Focal Self Attention技术分析
Focal self attention简单来说就是对距离Query越近的区域进行细粒度fine granulity的attention, 对距离Query越远的区域进行粗粒度的attention常规的Scaled Dot-ProductFocal Self-attention for Local-Global Interactions in Vision Transformers时间复杂度分析Focal Self-Attention和Multi-Layer Perceptron原创 2021-07-29 13:19:31 · 702 阅读 · 3 评论 -
点积注意力机制SDPA与多头注意力机制MHA
SDPA的全称为Scaled Dot-Product Attention, 属于乘性注意力机制, 简单一句话来说就是,根据Query (Q)与Key之间的匹配度来对Value进行加权,而事实上不管是Query, Ke还是Value都来自于输入,因此所谓的SDPA本质上是对输入信息信息进行重组MHA全称为Multi-Head Attention, 最早出现在NLP领域, MHA是著名的Transformer架构的基本组成单元,最初提出的动机是为了克服经典的Encoder-Decoder架构存在的long-r原创 2021-07-28 10:49:10 · 3911 阅读 · 0 评论 -
Bug: tf.contrib.checkpoint.NoDependency object
环境Python: 3.6Tensorflow-gpu: 2.1.0错误信息something error in training. ValueError(“Unable to save the object ListWrapper([‘Algorithm’, ‘ACC’, ‘MAE’, ‘MAPE’, ‘MSE’, ‘RMSE’, ‘R2’, ‘ME’, ‘Spearman’]) (a list wrapper constructed to track trackable TensorFlow o原创 2021-07-01 14:49:17 · 1016 阅读 · 0 评论 -
近期关于感知器MLP的最新研究
# 1. MLP-Mixer: An all-MLP Architecture for Vision# 2. ResMLP: Feedforward networks for image classification with data-efficient training# 3.Do You Even Need Attention? A Stack of Feed-Forward Layers Does Surprisingly Well on ImageNet# 4. RepMLP: Re-par原创 2021-05-10 22:23:50 · 284 阅读 · 0 评论 -
Pytorch—时序数据的加载与简单处理
Pytorch—时序数据的加载与简单处理美国华盛顿特区共享汽车交易数据原创 2021-04-21 16:49:48 · 1296 阅读 · 1 评论 -
Pytorch中view, transpose, permute等方法的区别
Pytorch中view, transpose, permute等方法的区别transpose与permute的区别与联系view 与transpose与permute的区别与联系transpose与permute的区别与联系这两个操作比较相似, transpose每次将任意两个指定的dim进行交换,相当于是2D array的转置操作,而permute可以一次将Tensor变换到任意的dimensions sequence的排列。 Permute操作可以有1至多步的Transpose操作实现。例子:原创 2021-04-18 17:41:07 · 1680 阅读 · 0 评论 -
深刻理解Tensor的概念及其常见的操作_以Pytorch框架为例
# Tensor的几个重要的属性/方法data_ptr device dtype storage is_contiguous Transpose默认的storage是按照Tensor的row展开的,但是一些操作(如,transpose)会改变Tensor,这就会导致当前Tensor按行展开后的顺序与原始的storage不一致一般情况下, Tensor初始加载后在CPU上, 然后将其拷贝到GPU进行运算 (得出的运算结果也在GPU上), 运算完成后再将其拷贝到CPU上原创 2021-04-18 16:34:25 · 1802 阅读 · 2 评论 -
Pytorch Tensor与Numpy ndarray的交互/相互转化
import torch as thpoints = th.ones(3, 4) points_ndarray = points.numpy() # Tensor -> Ndarraypoints _tensor = th.from_numpy(points_ndarray ) # Ndarray -> Tensor原创 2021-04-18 14:03:55 · 263 阅读 · 0 评论 -
论文评析-Incremental Boosting Convolutional Neural Network for Facial Action Unit Recognition,NIPS, 2016
Incremental Boosting Convolutional Neural N1.AU训练集小导致训练的CNN model泛化能力差,作者提出了**Incremental Boosting CNN (IB-CNN)**: 通过**Incremental boosting layer**将**boosting tree**与**CNN**进行结合。2.综合考虑**Incremental boosting classifier**与各个**weak classifier**提出了新的损失函数用于训练。原创 2021-04-16 19:29:58 · 444 阅读 · 0 评论 -
论文评析-Gradient Boosting Neural Networks: GrowNet,Preprint, 2021和Gradient boosting原理介绍
Gradient Boosting Neural Networks: GrowNet,Preprint, 2021Gradient boosting与deep learning (GNN, ConvNet, Shallow net)相结合Gradient boosting原理介绍原创 2021-04-15 14:32:43 · 1753 阅读 · 0 评论 -
多模态multi-modal 与多视图multi-view
多模态输出multi-modal outputs与多视图学习multi-view theorymulti-modalmulti-view总结multi-modalmulti-view总结多视图包含多模态,多视图更接近机器学习深度学习中集成学习Success的原因是: 因为(图像)数据存在多视图原创 2021-04-12 23:58:55 · 1242 阅读 · 0 评论 -
Style transfer系列论文之——Arbitrary Style Transfer in Real-time with Adaptive Instance Normali,ICCV, 2017
Style transfer系列论文之——Arbitrary Style Transfer in Real-time with Adaptive Instance Normali,ICCV, 2017Adaptive Instance normalization layer 用style feature的统计信息(mean和standard deviation)来对齐content feature的统计信息 通过Adaptive Instance Normalization来进行style transfe原创 2021-04-12 12:08:59 · 668 阅读 · 0 评论 -
深度学习中常见的Normalization总结—Batch Normalization,Instance Normalization
深度学习中常见的Normalization总结Batch NormalizationInstance NormalizationReferences对于一个给定的Batch: x∈RN⋅C⋅H⋅Wx \in R^{N \cdot C \cdot H \cdot W}x∈RN⋅C⋅H⋅W, 其中N, C, H, W,分别表示:batchsize, num_channel, Height, Width, 下面的定义都给予这个设定。Batch NormalizationBN[1]标准化每个feature c原创 2021-04-11 16:45:00 · 374 阅读 · 0 评论 -
Style transfer系列论文之——Image Style Transfer Using Convolutional Neural Networks,CVPR, 2016
Style transfer系列论文之——Image Style Transfer Using Convolutional Neural Networks,CVPR, 2016A Neural Algorithm of Artistic StyleStyle transfer**指的**希望产生这样的一幅图像x: x与源图像p的内容相似,而与源图像a的风格相似**。p被称之为`content image`, a被称之为`style image`。 Style transfer是神经网络应用非常火的原创 2021-04-11 15:34:04 · 1979 阅读 · 0 评论 -
生成对抗网络系列—ACL-GAN
Unpaired Image-to-Image Translation using Adversarial Consistency Loss损失函数由三部分组成: (1) **Adversarial translation loss**; (2) **Adversarial consistency loss**; (3) **Inentity loss and mask**Noise encoder, encoder,和decoder三部分组成 一致性判别器 有界聚焦区域mask原创 2021-04-07 14:26:19 · 945 阅读 · 1 评论 -
生成对抗网络系列—CycleGAN
CycleGAN模型与Autoencoder的关系生成对抗网络系列—CycleGAN系列文章目录背景模型CycleGAN模型与Autoencoder的关系损失函数实际训练中LGAUnpaired Image-to-Image Translation using Adversarial Consistency LossCycle-consistence lossUnpaired image -> image translaction原创 2021-04-07 00:08:36 · 492 阅读 · 0 评论 -
生成对抗网络系列—GAN
Generative adversarial network (GANs)损失函数形式 值函数 极大似然版本的损失函数通用的近似器(universarial approximator)域对抗 min-max game GAN的概率图模型结构Generator (G), Discriminator (D)提升其鉴别/判别真假样本的能力,而G的目的是生成与真实样本尽可能相似的假样本来欺骗D(使D将生成的样本误判为真样本)原创 2021-04-06 17:40:38 · 304 阅读 · 0 评论 -
Tensorflow2 Bug: triggered tf.function retracing (已解决)
Tensorflow2 Bug: triggered tf.function retracing背景References背景tensorflow中关于该Bug的帖子:另外,tf.function具有experimental_relax_shapes = True选项,该选项可放宽参数形状,从而避免不必要的跟踪。References1.https://www.tensorflow.org/api_docs/python/tf/function2.https://www.tensorflow.o原创 2021-04-02 22:37:44 · 3066 阅读 · 0 评论 -
域对抗网络Domain adversarial neural network及其应用相关论文
Domain-Adversarial Training of Neural Networks, JMLRDeveloping Personalized Models of Blood Pressure Estimation A Principled Approach for A Principled Approach for Learning Task Similarity in Multitask Learning MULTI-DOMAIN ADVERSARIA原创 2021-04-01 17:41:30 · 3634 阅读 · 0 评论 -
度量两个概率分布差异性/距离的指标总结_KL 散度(相对熵)交叉熵 JS散度 Wasserstein-1距离 Earth-Mover (EM)distance
KL 散度(相对熵)Kullback–Leibler divergence交叉熵 ,交叉熵与KL散度的关系JS散度(Jensen-Shannon divergence)Wasserstein-1距离 Earth-Mover (EM)distance原创 2021-04-01 16:50:17 · 4288 阅读 · 0 评论 -
Tensorflow2梯度带tape.Gradient的用法_(全面,深入)
Tensorflow2梯度带tape.Gradient的用法前言用法Demo 1: 最简单的Demo 2:GradientTape的嵌套两层嵌套分别对不同的变量求导,外层的求导依赖于内层的结果。两层嵌套分别对同一个变量求导,外层的求导依赖于内层的结果。Demo 3: 同时对多个优化目标分别求导Demo 4: 在两层嵌套中需要分别对模型参数和输入进行求导。相关资料前言GradientTape是eager模式下计算梯度用的,而eager模式(eager模式的具体介绍请参考文末链接)是TensorFlow 2原创 2021-03-30 21:52:41 · 10242 阅读 · 6 评论 -
Pytorch-OpCounter: Pytorch平台计算模型#Parameters和FLOPS的工具包
OpCounter** (Github地址:[https://github.com/Lyken17/pytorch-OpCounter](https://github.com/Lyken17/pytorch-OpCounter))除了能够统计各种模型结构的参数以及**FLOPS**, 还能为那些特殊的运算定制化统计规则,非常好用 clever_format原创 2021-03-12 23:49:10 · 2291 阅读 · 3 评论 -
Tensorflow 2.x代码中如何控制随机性以保证结果可重复性
控制实验的随机性非常有必要:(1) 保证结果的可复现/重复性一直都是研究中的一个基本问题; (2)在验证所提方法/系统中往往需要做分离/消融实验来对结果进行拆分,以验证各个模块是否有效以及对总体结果的贡献,控制随机性可以消除因随机性的引入产生的影响。基于此,在此总结`tensorflow2.x`实验环境的随机性控制方法。tensorflow-determinismTF_CUDNN_DETERMINISTICTF_DETERMINISTIC_OPS原创 2021-03-04 18:27:40 · 3517 阅读 · 2 评论 -
轻量级网络模型之EfficientNet
1.提出了一种新的缩放方法compound scaling: 通过复合系数来统一地缩放depth, width, resolution的尺寸; 通过神经网络架构搜索NAS设计了baseline model, 并将该缩放方法应用后, 在提升精度的同时所需的参数两大大减少。 并且该缩放方法应用到其他模型(MobileNet, ResNet等)上也有很好的效果EfficientNet-Bx.EfficientNet: Rethinking Model Scaling for Convolutional Neu原创 2021-03-01 00:17:10 · 1307 阅读 · 0 评论 -
轻量级网络模型之ShuffleNet
在面向移动设备的网络模型设计中, 为了满足模型的复杂性约束, **#chanels**不能太大 (**#channels**越大,越有助于提升模型的**Accuracy**), 而**pointwise convolution**本身是一个代价高昂的操作, 这进一步限制了所能使用的**#channels** 。为了解决这个问题,一个直接的想法就是采用分组卷积**group convolution**, 然而**group convolution**存在的问题是: `当多个group convolution进原创 2021-02-28 13:38:13 · 409 阅读 · 0 评论 -
端侧机器学习框架 Tensorlfow Lite
可以看到,端侧机器学习部署有以下几大**优点**:(1)低延时: 不涉及数据的传输等待;(2)不依赖网络: 整个过程直接在终端完成;(3)隐私保护:用户数据不需要传输到服务端,个人隐私得到了充分的保护硬件加速,delegate, 量化, quantization,剪枝,使用针对移动端优化的网络架构,TF lite模型转换器, TF lite 解释执行器, 硬件加速器ODML, 推理,算子库 op Kernels,原创 2021-02-27 12:59:40 · 1320 阅读 · 0 评论 -
轻量级网络模型之MobileNet系列
Mobile Net自2017年被提出来至今(2021)已经迭代出3个版本:**MobileNet v1**, **MobileNet v2**, **MobileNet v3**.Depthwise separable convolution, Inverted Residuals, Linear Bottlenecks, NAS, Network architecture search, Squeeze-and-Excite,PlatformAware NAS, NetAdapt原创 2021-02-25 16:37:14 · 1046 阅读 · 0 评论