我也要用- 博客(1351)
- 资源 (6)
- 论坛 (1)
- 收藏
- 关注
RSS订阅原创 【深度学习】详解Resampling和softmax模型集成
【深度学习】详解Resampling和softmax模型集成文章目录1 图像重采样 1.1 次级采样（sub-sampling） 1.2 高斯金字塔（Gaussian pyramids） 1.3 上采样（upsampling)2 医学图像预处理之重采样3 医疗图像重采样代码分析4 softmax集成5 在图像分割中用于多通道conv2d输出的Sigmoid或Softmax1 图像重采样图像重采样包含两种情形，一种是下采样（downsampling），把图像变小；另一种是上采样（up
2021-06-18 11:32:50
9
原创 【深度学习】如何将Voting和Stacking等应用到神经网络模型
【深度学习】如何将Voting和Stacking等应用到神经网络模型1 网络“快照”集成法(snapshot ensemble)2 多模型集成3 投票4 Stacking：集成学习策略图解5 多模态(RGB-D)——Ensemble Learning6 Softmax：将输出转换为概率1 网络“快照”集成法(snapshot ensemble)深度神经网络模型复杂的解空间中存在非常多的局部最优解经典的SGD方法只能让网络模型收敛到其中一个局部最优解snapshot ensemble
2021-06-18 11:32:40
8
原创 【深度学习】解析深度学习的集成方法
【深度学习】解析深度学习的集成方法文章目录1 前言2 使用集成模型降低方差3 如何集成神经网络模型 3.1 Varying Training Data 3.2 Varying Combinations 3.3 总结4 深入了解模型融合Ensemble(深度+代码) 4.1 Voting ensembles（投票） 4.2 averaging（平均）5 集成学习的投票机制（Voting mechanism about ensemble learning）1 前言神经网络具有很高的
2021-06-18 11:32:25
7
原创 【深度学习】快照集成等网络训练优化算法系列
【深度学习】快照集成等网络训练优化算法系列文章目录1 什么是快照集成?2 什么是余弦退火学习率？3 权重空间中的解决方案4 局部与全局最优解5 特别数据增强6 机器学习中解决数据不平衡问题 6.1 重新采样训练集 6.2 使用K-fold交叉验证7 集群丰富类1 什么是快照集成?快照集成一句话概括就是在同一个训练过程中，将不同节点的，且存在多样性的模型保存下来，再用于集成。这里有两个需要关注的点。第一点是“同一个训练过程”。不同于一般的集成方法，快照集成不需要重新训练模型，而
2021-06-18 11:32:14
44
原创 【深度学习】深入浅出CRF as RNN（以RNN形式做CRF后处理）
【深度学习】深入浅出CRF as RNN（以RNN形式做CRF后处理）文章目录1 概述2 目标3 思路4 简述5 论文原文 5.1 Introduction 5.2 相关工作 5.3 关键步骤6 仓库代码1 概述条件随机场（CRF或CRFs）与隐马尔科夫模型有着千丝万缕的联系。为了理解CRF，这里先简单说一下马尔科夫链（MC, Markov Chain）和隐马尔科夫模型。1.1 马尔科夫链马尔科夫链是指具有马尔可夫性质且存在于离散指数集合状态空间内的随机过程。那么什么是马尔科夫
2021-06-18 11:32:01
15
原创 【深度学习】带有 CRF-RNN 层的 U-Net模型
【深度学习】带有 CRF-RNN 层的 U-Net模型文章目录1 图像语义分割之FCN和CRF2 CRF as RNN语义分割3 全连接条件随机场与稀疏条件随机场的区别4 CRF as RNN5 带有 CRF-RNN 层的 U-Net6 超参数和结果7 Edge-aware Fully Convolutional Network1 图像语义分割之FCN和CRF介绍图像语义分割，简单而言就是给定一张图片，对图片上的每一个像素点分类从图像上来看，就是我们需要将实际的场景图分割成下面的分
2021-06-18 11:31:52
3
原创 【深度学习】计算机视觉相关技术探索（一）
【深度学习】计算机视觉相关技术探索（一）文章目录1 计算机视觉概述2 使用机器学习解决图像分类问题3 Keras和神经网络简介4 卷积神经网络（CNN），迁移学习5 对象检测问题6 yolo回归型的物体检测7 图像分割和注意力模型8 NLP和图像字幕的基础9 低层次视觉-生成对抗网络（GAN）10 视频分析11 视觉SLAM（二维到三维）1 计算机视觉概述计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉
2021-06-18 11:31:42
14
原创 【机器学习】集成学习与模型融合方法举例
【机器学习】集成学习与模型融合方法举例文章目录1 概述 1.1 什么是集成学习2 CrossValidation 交叉验证3 stacking4 Voting投票器5 Bagging1 概述1.1 什么是集成学习所谓“三个臭皮匠赛过诸葛亮”的道理，在机器学习数据挖掘的工程项目中，使用单一决策的弱分类器显然不是一个明智的选择，因为各种分类器在设计的时候都有自己的优势和缺点，也就是说每个分类器都有自己工作偏向，那集成学习就是平衡各个分类器的优缺点，使得我们的分类任务完成的更加优秀。在大多
2021-06-18 11:31:34
13
原创 【深度学习】医学图像分割的集成与后处理
【深度学习】医学图像分割的集成与后处理文章目录1 如何通过组合多个神经网络提高模型性能 1.1 使用融合模型减少模型的方差2 tensorflow keras 实现模型平均 2.1 训练多种模型 2.2 融合模型3 神经网络训练之交叉验证4 训练和后处理5 介绍一些免费/开源的医学影像后处理工具1 如何通过组合多个神经网络提高模型性能深度神经网络是非线性的。它们提供了更大的灵活性，并且理论上随着数据集的增多，其性能表现会越好。其缺点是通过随机训练算法进行学习，这意味着神经网络对训练
2021-06-18 11:31:21
5
原创 【深度学习】U型的Transfomer网络（Swin-Unet）和Swin-Transformer分类
【深度学习】U型的Transfomer网络（Swin-Unet）和Swin-Transformer分类文章目录1 概述2 Swin-Transformer分类源码3 训练4 关于复杂度降低问题5 关于SW-MSA的操作问题6 总结1 概述代码暂时还未开源。在过去的几年中，卷积神经网络（CNN）在医学图像分析中取得了里程碑式的进展。尤其是，基于U形架构和跳跃连接的深度神经网络已广泛应用于各种医学图像任务中。但是，尽管CNN取得了出色的性能，但是由于卷积操作的局限性，它无法很好地学习全
2021-06-18 11:31:09
23
原创 【深度学习】EfficientNetV2分析总结和flops的开源库
【深度学习】EfficientNetV2分析总结和flops的开源库1 EfficientNetV1中存在的问题2 EfficientNetV2中做出的贡献3 NAS 搜索4 EfficientNetV2网络框架4.1 EfficientNetV2-M的详细参数4.2 EfficientNetV2-L的详细参数5 EfficientNetV2与其他模型训练时间对比6 代码7 FLOPs总结8 计算flops的开源库1 EfficientNetV1中存在的问题作者系统性的研究了Eff
2021-06-18 11:31:03
4
原创 【深度学习】Swin-Transformer和EfficientNet对比分析
【深度学习】Swin-Transformer和EfficientNet对比分析文章目录1 概述2 算法解析 2.1 Speed 2.2 EfficientNet v2算法详解 2.3 渐进学习3 EfficientUNet4 总结1 概述就在几天前Swin Transformers刚刚为Transformer阵营夺下ImageNet的Top-1准确率（86.4%）不久，以Quoc V.Le为首的CNN阵营又通过大杀器AutoML又再次抢占了这个阵地（87.3%），而拿下这个Top-1的
2021-06-16 10:09:07
8
原创 【深度学习】深度神经网络后处理之全连接CRFs（DenseCRF）
文章目录1 概述2 条件随机场2.1 什么样的问题需要CRF模型2.2 随机场到马尔科夫随机场2.3 从马尔科夫随机场到条件随机场3 python实现图像分割CRFs后处理4 全连接CRF用于精确定位5 CRFasRNN6 总结1 概述目前图像像素级语义分割比较流行使用深度学习全卷积神经网络FCN或者各种FCN的改进版U-Net、V-Net、SegNet等方法**。这些模型中使用了反卷积层进行上采样操作，虽然能够将特征图恢复至原图尺寸，但也造成了特征的损失，自然而然产生了分类目标边界模糊的问题。**为了
2021-06-15 11:07:31
11
原创 【深度学习】深入浅出nnUnet的数据处理方法
【深度学习】深入浅出nnUnet的数据处理方法文章目录1 nnUNet数据预处理crop方法2 预测结果可视化3 如何针对三维医学图像分割任务进行通用数据预处理：nnUNet中预处理流程总结 3.1 数据格式转换 3.2 图像裁剪Crop 3.3 重采样Resample 3.4 标准化Normalization4 后处理1 nnUNet数据预处理crop方法plan_and_preprocess运行分割，首先需要对数据集进行数据预处理，这也是nnUNet的精髓所在。nnUNet_
2021-06-14 11:07:09
8
原创 【深度学习】Swin-Unet图像分割网络解析（文末提供剪枝仓库）
【深度学习】Swin-Unet图像分割网络解析（文末提供剪枝仓库）文章目录1 概述2 Swin-Unet架构3 bottleneck理解4 具体结构 4.1 Swin Transformer block5 通过剪枝和量化压缩Transformer1 概述Swin-Unet: Unet-like Pure Transformer for Medical Image Segmentation论文：https://arxiv.org/abs/2105.05537代码：https://
2021-06-12 10:29:18
51
原创 【响应式Web前端设计】CSS3 :nth-of-type() 选择器
<!DOCTYPE html><html><head><style> p:nth-of-type(2){background:#ff0000;}</style></head><body><h1>这是标题</h1><p>第一个段落。</p><p>第二个段落。</p><p>第三个段落。</p><p
2021-06-11 16:03:06
20
1
原创 【深度学习】Pytorch的深度神经网络剪枝应用
【深度学习】Pytorch的深度神经网络剪枝应用文章目录1 概述2 pytorch基于卷积层通道剪枝的方法3 模型剪枝：Learning Efficient Convolutional Networks Through Network Slimming (ICCV 2017).4 一份复现的剪枝代码1 概述网络剪枝个人觉得是一种实用性非常强的网络压缩方法，并且可以和其它模型压缩方法如网络蒸馏、参数位压缩等进行组合，在保留网络识别精度的同时极大幅度的减少网络在使用时的计算量。但是这种简单粗暴实
2021-06-11 15:58:46
15
原创 【响应式Web前端设计】HTML ＜td＞ 标签的 colspan 属性
<html><body><table width="100%" border="1"> <tr> <th>Month</th> <th>Savings</th> </tr> <tr> <td colspan="2">January</td> </tr> <tr> <td cols
2021-06-10 19:10:35
11
原创 【响应式Web前端设计】H5新特性
三种写法都可以。当属性值不包括空字符串、“<”、“>”、"="、单引号、双引号等字符时，属性两边的引号可以省略。属性有空格当然就必须有单引号或者双引号。标签不区分大小写 新增的语言标签可以简化页面设计，便于搜素HTML5的内容类型还是text/html格式...
2021-06-10 19:04:11
10
原创 【响应式Web前端设计】css如何设置边框的圆角样式？border-radius属性设置圆角样式（图 文）
border-radius包含5种设置圆角样式方式：border-radius ：同时设置4个边框的圆角样式。border-top-left-radius ：设置左上角边框的圆角样式。border-top-right-radius ：设置右上角边框的圆角样式。border-bottom-left-radius ：设置左下角边框的圆角样式。border-bottom-right-radius ：设置右下角边框的圆角样式。图片示例（设置四个边框圆角值为20px）：border-radius的参数
2021-06-10 18:49:11
27
原创 【深度学习】基于深度神经网络进行权重剪枝的算法（二）
【深度学习】基于深度神经网络进行权重剪枝的算法（二）文章目录1 摘要2 介绍3 OBD4 一个例子1 摘要通过从网络中删除不重要的权重，可以有更好的泛化能力、需求更少的训练样本、更少的学习或分类时间。本文的基础思想是使用二阶导数将一个训练好的网络，删除一半甚至一半以上的权重，最终会和原来的网络性能一样好，甚至更好。最好的泛化能力是在训练误差和网络复杂度平衡的时候。2 介绍达到这种平衡的一种技术是最小化由两部分组成（原始的训练误差+网络复杂度的度量）的损失函数。复杂度评估方法包括VC维
2021-06-10 16:03:58
12
原创 【响应式Web前端设计】css中：overflow：hidden解决塌陷
overflow:hidden是当元素内的内容溢出的时候使它隐藏溢出的部分，即超出部分隐藏。1.我们给一个父元素，里面有两个子元素2.样式如下：给父元素设置背景颜色，子元素设置边框，两个字元素向左浮动。3.运行结果如下：我们发现父元素的背景色并没有显示出来4.给父元素加上overflow：hidden5.运行结果：父元素的背景色被显示出来当子元素浮动时，它的父元素不是不在了，因为父元素的高height：auto为自动值，就是根据里面的内容自动设置高度，由于子元素设置了左浮动，已经浮动起
2021-06-10 15:19:09
22
原创 【响应式Web前端设计】CSS浮动(float,clear)讲解
首先要知道，div是块级元素，在页面中独占一行，自上而下排列，也就是传说中的流。如下图：可以看出，即使div1的宽度很小，页面中一行可以容下div1和div2，div2也不会排在div1后边，因为div元素是独占一行的。 注意，以上这些理论，是指标准流中的div。 小菜认为，无论多么复杂的布局，其基本出发点均是：“如何在一行显示多个div元素”。 显然标准流已经无法满足需求，这就要用到浮动。 浮动可以理解为让某个div元素脱离标准流，漂浮在标准流之上，和标准流不
2021-06-10 15:04:52
15
原创 【响应式Web前端设计】!important的用法及作用
div { color: #f00 !important; }div { color: #000; }//上述代码中，ie6及其以下浏览器div的文本颜色为#fff,后面的重写的div样式没有起作用，important的样式属性和覆盖它的样式属性单独使用时(不在一个{}里)，IE 6.0认为!important优先级较高,可以识别!important。...
2021-06-09 09:25:58
14
原创 【深度学习】超强优化器如何与网络有机结合
【深度学习】超强优化器如何与网络有机结合1 Ranger优化器2 一个例子（基于CNN和pytorch）3 剪枝（减小优化器压力）1 Ranger优化器RAdam + Lookahead + Gradient Centralization优化器(Optimizer)对于深度神经网络在大型数据集上的训练是十分重要的，如SGD和SGDM，优化器的目标有两个：加速训练过程和提高模型的泛化能力。目前，很多工作研究如何提高如SGD等优化器的性能，如克服训练中的梯度消失和梯度爆炸问题，有效的trick有权
2021-06-07 11:21:44
21
原创 【深度学习】协同优化器和结构化知识蒸馏
【深度学习】协同优化器和结构化知识蒸馏文章目录1 概述2 什么是RAdam（Rectified Adam）3 Lookahead - 探索损失面的伙伴系统=更快，更稳定的探索和收敛。4 Ranger - 一个使用RAdam和LookAhead的优化器的集成代码库。5 结构化知识蒸馏1 概述一篇由知名深度学习研究员Geoffrey Hinton撰写的新论文介绍了LookAhead优化器（“LookAhead优化器：k步前进，后退一步”，2019年7月）。Lookahead的灵感来自对神经网
2021-06-06 11:32:33
17
原创 【机器学习】朴素贝叶斯、SVM和数据分布检验分析
【机器学习】朴素贝叶斯、SVM和数据分布检验分析文章目录1 朴素贝叶斯2 SVM 2.1 线性可分 2.2 最大间隔超平面 2.3 SVM 最优化问题3 数据分布检验方法 3.1 数据分布检验 3.2 t检验 3.3 如何检测两组数据是否同分布1 朴素贝叶斯朴素贝叶斯分类那么既然是朴素贝叶斯分类算法，它的核心算法又是什么呢？是下面这个贝叶斯公式：换个表达形式就会明朗很多，如下：我们最终求的p(类别|特征)即可！就相当于完成了我们的任务。例题分析下面我先给出例子问题。
2021-06-06 11:32:19
42
原创 【深度学习】深度学习之对抗样本问题和知识蒸馏技术
文章目录1 什么是深度学习对抗样本2 深度学习对于对抗样本表现的脆弱性产生的原因3 深度学习的对抗训练4 深度学习中的对抗攻击和对抗防御5 知识蒸馏技术1 什么是深度学习对抗样本Christian Szegedy等人在ICLR2014发表的论文中，他们提出了对抗样本（Adversarial examples）的概念，即在数据集中通过故意添加细微的干扰所形成的输入样本，受干扰之后的输入导致模型以高置信度给出一个错误的输出。在他们的论文中，他们发现包括卷积神经网络（Convolutional Neural
2021-06-05 22:30:13
28
原创 【深度学习】对抗扰动、垃圾/钓鱼邮件自动分类和UEBA
【深度学习】对抗扰动、垃圾/钓鱼邮件自动分类和UEBA文章目录1 数据集2 清洗数据集3 GloVe + LSTM4 GloVe词向量模型5 搭建网络整体结构6 训练模型并验证7 对抗扰动8 数据安全智能守护神UEBA（用户实际行为分析）1 数据集总的数据集一共有4458条数据，将按照8:2进行划分训练集和验证集。通过分析发现，其中pam的数量有3866条，占数据集的大多数，可以考虑不平衡样本采样进行训练。数据集的格式如图所示，有三列分别是ID，Label(pam、spam)，Em
2021-06-04 22:28:12
74
原创 【深度学习】深入浅出对抗机器学习(AI攻防)
文章目录1 情感分类投简历的南大Fengyuan Xu老师最近要求我分析一下他的论文，对网安很小白的我，决定分析下单眼情绪识别这篇文章，但是硬件很头疼。1 情感分类当前情感分类上，主要把情感分为两类或者八类：https://blog.csdn.net/whutmengmeng/article/details/105145594...
2021-06-02 09:58:19
40
原创 【深度学习】Tensorflow搭建卷积神经网络实现情绪识别
【深度学习】Tensorflow搭建卷积神经网络实现情绪识别文章目录1 Tensorflow的基本使用方法 1.1 计算图 1.2 Feed 1.3 Fetch 1.4 其他解释2 训练一个TensorFlow模型来识别情绪1 Tensorflow的基本使用方法使用图 (graph) 来表示计算任务。在被称之为 会话 (Session) 的上下文 (context) 中执行图。使用 tensor 表示数据。通过 变量 (Variable) 维护状态。使用 feed 和 fetch
2021-06-02 09:58:06
21
原创 【深度学习】孪生网络（Siamese Network）的模式和训练过程
【深度学习】孪生网络（Siamese Network）的模式和训练过程文章目录1 概述2 Siamese network 孪生神经网络3 孪生神经网络和伪孪生神经网络分别适用于什么场景呢？4 细节5 网络训练6 人脸检测—Siamese Network1 概述孪生神经网络（Siamese neural network），又名双生神经网络，是基于两个人工神经网络建立的耦合构架。孪生神经网络以两个样本为输入，其两个子网络各自接收一个输入，输出其嵌入高维度空间的表征，通过计算两个表征的距离，例
2021-06-02 09:57:56
46
原创 【深度学习】深度学习安防的探索与实践
【深度学习】深度学习安防的探索与实践文章目录1 概述2 安防领域的深度学习应用3 当深度学习遇到系统和网络安全 3.1 前馈神经网络概述 3.2 基于深度学习的日志数据异常检测 3.3 MAD-GAN 基于生成对抗网络的时间序列数据多变量异常检测4 使用深度学习检测TOR流量1 概述随着深度学习技术的发展，其使得计算机朝着真正的人工智能迈进了一大步，使用海量数据来自动识别图像和文本，并实时进行人机间的“对话”将不再是天方夜谭。虽然目前还有很多理论和建模等方面的问题等待探索和解决，但
2021-06-02 09:57:38
20
原创 【深度学习】Keras和Tensorflow框架使用区别辨析
【深度学习】Keras和Tensorflow框架使用区别辨析文章目录1 概述2 Keras简介3 Tensorflow简介4 使用tensorflow的几个小例子5 Keras搭建CNN6 tensorflow和keras版本对应关系7 TensorFlow 2.0中的tf.keras和Keras有何区别？为什么以后一定要用tf.keras？1 概述Keras 已经被大规模采用，并与 TensorFlow 集成在一起。这种 TensorFlow + Keras 的组合让你可以：使用
2021-05-31 11:06:28
20
原创 【深度学习】DL下的3D图像和Low-level Vision问题解析
文章目录1 概述1 概述Low-level feature:通常是指图像中的一些小的细节信息，例如边缘(edge)，角(corner),颜色(color),像素(pixeles),梯度(gradients)等，这些信息可以通过滤波器、SIFT或HOG获取。high-level feature:是建立在low level feature之上的，可以用于图像中目标或物体形状的识别和检测，具有更丰富的语义信息high-level feature常被人称为是高级的语义信息，他的感觉就像通过环境信息纹理信
2021-05-31 11:06:19
29
原创 【深度学习】模型训练过程可视化思路（可视化工具TensorBoard）
【深度学习】模型训练过程可视化思路（可视化工具TensorBoard）文章目录1 TensorBoard的工作原理2 TensorFlow中生成log文件3 启动TensorBoard，读取log文件4 浏览器中启动TensorBoard5 读取并导出Tensorboard中数据6 图(GRAPH)数据可视化7 补充1 TensorBoard的工作原理在TensorFlow的程序里将相关的events等以log的形式保存，在运行TensorBoard后自动加载log文件并以良好的图表呈
2021-05-31 11:06:12
38
原创 【深度学习】如何从结构出发更好的改进一个神经网络（二）
文章目录1 空洞卷积(dilated convolution)2 PReLU3 LeakyReLU可以解决神经元”死亡“问题4 ResNet345 深度学习网络中backbone6 实验6.1 test_binary_crossentropy_bn_LeakyReLU_lr=0.01, decay=2e-56.2 test_binary_crossentropy_bn_PReLU_lr=0.01, decay=2e-56.3 
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝