- 博客(19)
- 收藏
- 关注
RSS订阅原创 Pytorch学习(六）—— 优化算法介绍
优化算法介绍）优化与深度学习梯度下降和随机梯度下降小批量随机梯度下降动量法AdaGrad算法RMSProp算法AdaDelta算法Adam算法优化与深度学习梯度下降和随机梯度下降小批量随机梯度下降动量法AdaGrad算法RMSProp算法AdaDelta算法Adam算法...
2021-10-11 23:08:13
853
原创 CNN基础网络(二)
CNN基础网络介绍ResNetBatchNormalization全连接层批量归一化卷积层批量归一化训练和推理时的批量归一化ResNet介绍ResNet之前，首先介绍一下批量归一化(BatchNormalization)。BatchNormalization通常来说，输入数据标准化预处理对于浅层模型就足够有效了，随着模型训练的进行，当每层的参数更新时，靠近输出层的输出比较难出现剧烈变化。但是对深层神经网络来说，即使输入数据已做了标准化，训练中模型参数的更新依然很容易造成靠近输出层输出的剧烈变化。这种
2021-09-09 23:30:38
624
原创 CNN基础网络(一)
CNN基础网络介绍LenetCNN(卷积神经网络)借助卷积层保留了输入形状,使图像在宽和高两个方向上的相关性均可能被有效识别,另一方面卷积层通过滑动窗口将同一卷积核与不同位置的输入重复计算,从而避免了参数尺寸过大.有效集解决了临近像素点的特征提取和模型参数过大的问题.卷积神经网络就是包含卷积层的网络,这个名字最早来源于Lenet论文的第一作者Yann LeCun.Lenet展示了通过梯度下降训练卷积神经网络可以达到手写数字识别在当时最先进的成果.LenetLenet模型分为卷积层块和全连接层块.卷
2021-09-06 19:28:52
732
原创 Pytorch学习(五）——欠拟合和过拟合
欠拟合和过拟合训练误差和泛化误差欠拟合和过拟合本文主要介绍模型训练过程中出现的欠拟合和过拟合问题，以及进行模型选和处理过拟合的一般方法。训练误差和泛化误差通俗来讲，训练误差(training error)指模型在训练数据集上表现出的误差。泛化误差(generalization error)指的是模型在任意一个测试数据样本上表现出的误差的期望，并常常通过测试数据集上的误差来近似。可以通过损失函数来计算训练误差和泛化误差。在机器学习里，我们通常假设训练数据集和测试数据集里的每一个样本都是从同一个概率分布
2021-08-15 18:52:58
1231
原创 Pytorch学习(三）—— 常用工具包
Pytorch常用工具包数据集读取数据预处理和ImageFolder数据预处理ImageFolder数据加载torchvisionGPU加速：CUDA数据集读取在Pytorch中，数据加载可以通过自定义的数据集对象实现。数据集对象被抽象为Dataset类，实现自定义的数据集需要继承Dataset，并实现两个Python的魔方方法：_ _ getitem _ _： 返回一条数据或一个样本。_ _ len _ _： 返回样本的数量。以Kaggle Dog vs. Cat 数据集为例：import
2021-08-02 01:00:35
689
原创 Pytorch学习(二）—— nn模块
torch.nnnn.Module常用的神经网络相关层优化器nn.functional初始化策略nn.Module深入分析nn和autograd借助nn搭建ResNet50Pytorch nn模块提供了创建和训练神经网络的各种工具，其专门为深度学习设计，核心的数据结构是Module。Module是一个抽象的概念，既可以表示神经网络中的某个层，也可以表示一个包含很多层的神经网络。nn.Modulenn.Module基类构造函数： def __init__(self): self.tra
2021-07-31 20:59:03
6469
原创 Pytorch学习(一）—— Tensor和Autograd
Tensor和AutogradTensor可简单的认为是支持高效计算的数组，可以是标量、向量、矩阵或更高维的数组。Tensor与Numpy数组具有很高的相似性，彼此共享内存，所以遇到Tensor不支持的操作时，可以先将其转换为Numpy数组，处理后再转回Tensor，其转换开销很小，与Numpy不同的是，Pytorch的Tensor支持GPU加速。CPU tensor和GPU tensor之间的相互转换通过tensor.cuda和tensor.cpu的方法实现。...
2021-06-15 15:37:28
558
原创 Onnx模型介绍
文章目录ONNX介绍ONNX与ProtobufONNX数据结构ONNX模型解析ONNX模型构建及推理ONNX模型修改节点删除:节点修改：ONNX介绍ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, MXNet）可以采用相同格式存储模型数据。简而言之，ONNX是一种便于在各个主流深度学习框架中迁移模型的中间表达格式。ONNX与ProtobufONNX采用序列化数据结构协议protobuf来存储模型信息。我们可以通过protobuf
2021-04-15 22:44:53
21818
原创 Pytorch学习(四）—— Lenet模型训练
import torchimport torchvisionimport torchvision.transforms as transformsfrom torch import nnfrom collections import OrderedDictfrom torch.nn import initfrom visdom import Visdom# Visdom 训练过程可视化vis = Visdom()vis.line([0.], [0.], win="Loss", opts=
2021-03-16 23:43:00
912
原创 卷积神经网络——卷积层计算
文章目录卷积层计算参数共享机制总结后记卷积层计算卷积层关键操作：局部关联：每个神经元看作一个滤波器filter，局部数据权值共享。滑动窗口：对一个filter内的数据进行计算。关键参数：深度depth：filter的个数步长stride：单个filter一次滑动的长度填充值zero-padding：对输入数据进行填充填充值的作用：对于一个像素为5x5的输入图片，如果滑动窗口的大小为2x2，步长为2，则存在一列数据无法处理，此时需要添加0填充值，以保证所有数据都能被遍历到。卷积
2021-02-17 18:35:34
8824
原创 轻量级人脸检测模型—Slim-320
文章目录1. 模型介绍2. 生成预选框3. 推理结果1. 模型介绍Github：https://github.com/Linzaer/Ultra-Light-Fast-Generic-Face-Detector-1MB一个轻量级人脸检测模型，提供了Slim-320(速度更快)和RFB-320(精度更高)两个版本，并提供Caffe推理脚本。在产品上部署Slim-320做人脸检测，腾讯TNN提供的人脸检测Demo同样使用的该模型。运行效果：2. 生成预选框模型采用4个分支做预测，每个分支的基础an
2021-02-04 23:35:08
907
原创 SoftMax
文章目录1. softmax1. softmaxsoftmax算子一般用于多分类场景，把神经元的输出映射到（0-1）之间的实数，并且归一化保证和为1，从而使得多分类的概率之和也刚好为1。使得经过softmax后的输出为每个类别的概率，并且各个概率的和为1。softmax的计算过程为：某元素的指数与所有元素指数和的比值。在实际应用中，需要注意softmax中存在的数据溢出问题，如果softmax的输入V过大，经过指数运算后，很容易出现数据溢出。解决办法是：将V中的每一个数据，都减去V中的最大值：
2020-12-02 16:28:20
467
原创 yolov3-tiny
目标检测简介针对一张图片，根据后续任务的需要，有三个主要层次。一是分类（Classification），即是将图像结构化为某一类别的信息，用事先确定好的类别或实例ID来描述图片，这一任务是最简单、最基础的图像理解任务，也是深度学习模型最先取得突破和实现大规模应用的任务。其中ImageNet是最权威的评测集，每年的ILSVRC催生了大量的优秀深度网络结构，为其他任务提供了基础。在应用领域，人脸、场景的识别等，都可以归为分类任务。...
2020-11-26 00:02:37
9344
原创 Anaconda使用
启动anaconda图形界面anaconda-navigator查看已经安装的包和版本号conda list创建新环境# env_name: 创建的环境名# package_names: 安装在环境中的包名conda create --name <env_name> <package_names># 创建一个名为"python3"的环境，环境中安装python3.5，同时安装numpy和pandasconda create -n python3 pytho
2020-10-13 00:18:31
245
2
原创 Docker使用
Docker常用命令本文记录一些使用到的Docker命令权限问题# 将用户加入到docker用户组中sudo gpasswd -a $USER docker# 重启dockersudo systemctl restart docker# 更新用户组newgrp docker命令和功能# 查看docker容器版本docker version# 查看docker容器信息docker info# 查看本地镜像docker images# 查看镜像IDdocker im
2020-09-21 19:03:05
105
原创 在Linux下部署Yolo-Fastest + TNN
Yolo-Fastest + TNN本文记录使用TNN推理Yolo-Fastest完整过程。Yolo-Fastest的Git地址：https://github.com/dog-qiuqiu/Yolo-FastestTNN的Git地址：https://github.com/Tencent/TNNTNN编译TNN提供了在Linux下一键编译的脚本build_linux.sh，编译完成后，build目录下会生成测试可执行文件test/TNNTest，可在Linux下直接运行。添加Mem DumpTN
2020-09-21 14:12:40
1974
5
转载 吴恩达深度学习第二章编程作业
#!/usr/bin/env python# coding: utf-8# In[3]:import numpy as npimport h5pyimport matplotlib.pyplot as pltnp.set_printoptions(threshold=np.inf)def load_dataset(): train_dataset = h5py.File('datasets/train_catvnoncat.h5',"r")# print([keys
2020-07-25 10:10:30
369
原创 Git使用心得
Github使用记录最近对github的一些使用心得清除git工程的git信息rm -rf .git本地创建git项目并push到远程echo "# Readme" >> README.mdgit initgit add README.mdgit commit -m "first commit"git remote add origin git@github.com:addressgit push -u origin masterpush一个已经存在的库git rem
2020-06-11 16:02:34
181
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人