![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 61
锋年
这个作者很懒,什么都没留下…
展开
-
VOLO: Vision Outlooker for Visual Recognition 阅读笔记
为了利用精细级别的标记表示,在第一阶段,调整补丁嵌入模块,使图像在大小为8×8而不是16×16的小图像补丁上进行标记。精细级别的信息可以通过更细粒度的图像标记化编码为标记,但这会导致更大长度的标记序列,从而二次增加ViT的自注意力机制的复杂性。outlookattention采用滑动窗口机制对令牌表示进行局部编码,并在一定程度上保留了视觉任务的关键位置信息;方法提出的原因1)每个空间位置的特征具有足够的代表性,可以生成注意力权重,用于局部聚合其相邻特征;.........原创 2022-07-31 19:23:46 · 743 阅读 · 0 评论 -
Stacked Hybrid-Attention and Group Collaborative Learning for Unbiased Scene Graph Generation
直观地说,由于单个分类器难以实现合理的预测权衡,可以将有偏见的谓词类划分为几个平衡的子集,然后引入更多的分类器来克服每个子集,并最终利用这些分类器来合作解决这一挑战。由此提出GCL(Group Collaborative Learning)策略。首先是divide:由于单个分类器足以区分平衡数据集中的类,我们首先根据训练实例的数量将所有谓词划分为一组相对平衡的组。...原创 2022-08-18 14:37:48 · 1232 阅读 · 0 评论 -
利用聚类技术实现纹理图像分割
要求针对合成纹理图像中每一个像素提取纹理特征向量利用聚类技术(推荐用 k-均值聚类)对特征向量空间中的点进行聚类,类别数可根据图像中的实际纹理类数确定。最后把类属标签映射成图像形式显示提取纹理特征向量我使用的是灰度共生矩阵,如果有不知道这个算法意义的可以去查一下,有很多讲的非常的好,大家可以去看一下,我就不做具体的讲述了KMeans聚类直接使用的sklearn工具包,里面有很多机器学习的算法,不需要自己再去手动实现了,至于KMeans的具体意义,大家自行百度即可,网上的讲解都很好..原创 2021-12-02 20:43:07 · 2897 阅读 · 2 评论 -
深度模型优化与正则化
优化问题神经网络模型是一个非凸函数,再加上在深度网络中的梯度消失问题,很难进行优化;另外,深层神经网络模型一般参数比较多,训练数据也比较大,会导致训练的效率比较低泛化问题(正则化)因为神经网络的拟合能力强,反而容易在训练集上产生过拟合。因此,在训练深层神经网络时,同时也需要通过一定的正则化方法来改进网络的泛化能力网络优化目标:最小化取自生成分布数据的预测误差期望经验风险最小化:用训练集上的经验分布替代真实分布难点网络结构多样性:很难找到一种通用的、高效的、稳定的优化方..原创 2021-09-30 15:56:07 · 227 阅读 · 0 评论 -
前馈神经网络之自动梯度计算
计算机实现参数的自动梯度计算,方法可分为以下三类- 数值微分 - ∆x难以确定,太小会引起舍入误差,太大则增加截断误差,虽然实现非常简单,但实用性较差,计算复杂性高,因为需要为每个参数单独施加扰动,若参数数量为N ,则复杂度为 O(N^2)- 符号微分 - 一种基于符号计算(代数计算)的自动求导方法,用计算机来求解带变量的数学表达式,变量被看作符号,不需要代入具体的值,输入和输出都是数学表达式,包括基于规则的化简、因式分解、微分、积分、解代数方程、解常微分方程等运算 - 编译时间长,需要专门的数学原创 2021-09-30 11:20:17 · 422 阅读 · 0 评论 -
激活函数的复习
激活函数的性质要求- 连续并可导(允许少数点不可导)的非线性函数,可导的激活函数。可导的激活函数可以直接利用数值优化的方法来学习网络参数- 激活函数及其导函数要尽可能的简单,还有利于提高网络计算效率。- 激活函数的导函数的值域要在一个合适的区间内,不能太大也不能太小,否则会影响训练的效率和稳定性Sigmoid型函数Hard-Logistic函数max(min(0.25x+0.5,1),0)Hard-Tanh函数max(min(x,1),-1)这两个函数是对Logis原创 2021-09-30 10:17:01 · 250 阅读 · 0 评论 -
基于SIAMRPN的单目标追踪--含success和precision评估图像函数
数据集准备已给的数据集有十个类别,包括:bird,bolt,dragon baby,fish,freeman,human,jogging,jumping,surfer,SUV通过对数据集中的第一帧图像进行训练,剩余的图像只进行测试,同时真实位置已在文本文档中给出,每一行代表每一帧的该目标的真实位置搭建网络模型并导入预训练模型本次实验使用的是SIAMRPN网络结构,同时使用已训练好的预训练模型进行测试和评估,原始代码:点击链接SIAMRPN网络介绍SIAMRPN主要分为两个部分。..原创 2021-09-19 15:22:31 · 805 阅读 · 0 评论 -
深度学习中常见的计算公式
深度学习中常见的计算公式卷积神经网络空洞卷积空洞卷积权重值的间隔为:dilation rate-1当空洞率为1时,降为普通卷积空洞后的卷积核的空间大小:k=(n-1)*d+1n为原卷积核的大小,d为空洞率卷积后图片大小:O=⌊(I−k+2P)/S⌋+1I为输入图片的大小,P为填充大小,S为步长空洞卷积存在的问题存在网格效应和远距离的点之间信息可能不相关解决办法叠加卷积的空洞率不能有大于1的公约数,[2,4,6]就不是一个好的三层卷积,依然会出现网格原创 2021-09-07 16:59:31 · 1331 阅读 · 0 评论 -
pytorch-常见的损失函数
常用的损失函数平均绝对误差(MAE)torch.nn.L1Loss()均方误差(MSE)torch.nn.MSELoss()二元交叉熵损失函数torch.nn.BCELoss()包含sigmoid层的二元交叉熵损失函数loss=torch.nn.BCEWithLogitsLoss()交叉熵损失函数torch.nn.CrossEntropyLoss()分开定义softmax运算和交叉熵损失函数可能会造成数值的不稳定,pytorch提供了一.原创 2021-07-20 19:58:20 · 275 阅读 · 0 评论 -
Tensorflow的安装
- TensorFlow-GPU版本,前置条件 - 查看NVIDIA显卡是否满足GPU启动条件 - 安装CUDA,用于驱动NVIDIA显卡进行深度学习 - 下载链接:https://developer.nvidia.com/cuda-toolkit-archive - 安装cuDNN用于深度神经网络的GPU加速器 - 下载链接:https://developer.nvidia.com/rdp/cudnn-download - 注意:请根据Ten原创 2021-06-19 17:23:29 · 192 阅读 · 0 评论 -
深度学习相关问题
深度学习数据降维(特征提取)对高纬度特征数据进行预处理,保留重要特征,取出噪点和不重要特征,提高数据处理速度优点数据集更易使用降低算法的计算开销取出噪声使得结果更易理解算法奇异值分解(SVD)主成分分析(PCA)因子分析(FA)独立成分分析(ICA)激活函数作用现实中的数据往往不是线性可分的,所以我们需要引入非线性函数(【引入非线性函数...原创 2020-03-23 12:32:05 · 504 阅读 · 0 评论 -
机器学习常用算法
机器学习算法监督学习(通过已有的一部分输入数据和输出数据之间的相应关系,生成函数,从输入映射到合适的输出,如分类)线性回归(Linear Regression)利用数理统计中的回归分析,来确定两个或以上变量之间相互依赖的变量关系的一种统计分析方法,只有一个自变量和一个因变量,两者之间的关系可以用线性表示,该回归分析为一元线性回归,若包括两个及以上的自变量,自变量和因变量之间是线性关系...原创 2020-03-23 12:30:51 · 442 阅读 · 0 评论 -
读取图片文件、处理和保存
通过Tensorflow进行图片读取和显示一、使用 tf.read_file(path) # path为图片路径 import tensorflow as tf image_contents = tf.read_file(path) # 读取文件 image = tf.image.decode_jpeg(image_contents, channels=3) # 图片...原创 2020-02-06 12:37:36 · 474 阅读 · 0 评论 -
基于卷积神经网络的cifar数据集模型数据训练
cifar数据集下载及解压包导入 import tarfile 解压/压缩tar包 import urllib.request 网页请求 包下载 pip install tarfile pip install urlib url = 'https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz' ...原创 2020-02-04 19:47:07 · 430 阅读 · 0 评论 -
使用神经网络实现MNIST手写体识别
本篇基于Tensorflow 1.0进行神经网络创建和MNIST手写体识别训练Tensorflow 1.0 的安装和通过机器学习实现MNIST手写体识别Tensorflow实现MNIST手写体识别前置条件import tensorflow as tfimport tensorflow.examples.tutorials.mnist.input_data as input_data...原创 2020-02-04 15:00:14 · 793 阅读 · 0 评论 -
Tensorflow实现MNIST手写识别
MNIST手写体识别训练和测试模型下载地址:MNIST手写体模型下载MNIST手写体识别,标签编码为独热(one-hot)编码One-Hot编码,又称为一位有效编码,主要是采用N位状态寄存器来对N个状态进行编码,每个状态都由他独立的寄存器位,并且在任意时候只有一位有效。One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后,每个整数值被表示为二进制...原创 2020-02-04 14:34:52 · 257 阅读 · 0 评论 -
keras
Keras是与TensorFlow一起使用的更高级别的作为后端的API定义模型类型安装Keras,直接导入Keras到项目中pip install keras通过导入Keras,定义模型的类型from keras.model import Sequentialfrom keras.layers import Densemodel=Sequential()添加...原创 2020-02-04 13:31:59 · 221 阅读 · 0 评论 -
神经网络--感知机
神经网络核心人造神经元组成加法器将所有输入加权求和到神经元上激活函数一个处理单元,根据预定义函数产生一个输出权值和阈值(偏置)通过不同的学习算法学习这些权重和阈值(偏置)当只有一层这样的神经元存在时,它被称为感知层输入层被称为第零层,只有缓冲输入输出层的每个神经元都有自己的权重和阈值当存在许多这样的层时,网络被称为多层感知...原创 2020-02-04 12:15:59 · 384 阅读 · 0 评论 -
激活函数
激活函数阈值激活函数import tensorflow as tfimport numpy as npimport matplotlib.pyplot as pltdef threshold(x): cond=tf.less(x,tf.zeros(tf.shape(x),dtype=x.dtype)) out=tf.where(cond,tf.zeros(tf....原创 2020-02-03 13:58:40 · 158 阅读 · 0 评论 -
pandas进行数学计算和数据处理
pandas基础数学统计和计算统计函数协方差Series对象之间的协方差计算对不同长度的对象进行协方差计算,pandas会进行数据的自动对齐操作,即取得series_1的前八位元素与series_3的所有元素进行协方差运算DataFrame对象之间的协方差计算相关系数排序窗口函数Rolling对象cumsum()函数对Series和DataF...原创 2020-02-03 11:41:55 · 836 阅读 · 0 评论 -
tensorflow中模型训练保存与断点续训
图保存与加载图保存 with tf.Session() as sess: tf.train.write_graph(sess.graph_def,'./tfmodel','test_pb.pb',as_text=False)图加载 with tf.Session() as sess: with tf.gfile.FastGFile('./tf...原创 2020-01-30 16:13:53 · 766 阅读 · 0 评论 -
卷积神经网络结构及其实现
卷积神经网络结构(CNN Convolutional neural network)输入层将每个像素代表一个特征节点输入到网络中卷积层卷积运算的主要目的是使原信号特征增强,并降低噪音步长表示卷积核在图片上移动的格数步长大于一,是降维的一张方法 卷积后图片的尺寸,步长为S,原始图片尺寸为[N1,N1],卷积核大小为[N2,N2] [(N1-N2)/S+...原创 2020-01-30 14:05:48 · 258 阅读 · 0 评论 -
Tensorflow-GPU 2.0版本安装及Anaconda命令
安装安装Anaconda安装编译器pycharmjupyter notbookTensorFlow-GPU版本,前置条件查看NVIDIA显卡是否满足GPU启动条件安装CUDA,用于驱动NVIDIA显卡进行深度学习下载链接:https://developer.nvidia.com/cuda-toolkit-archive安装cuDNN用于深度神经网络的GP...原创 2019-12-22 21:22:31 · 433 阅读 · 1 评论