深度学习
磊,,北
这个作者很懒,什么都没留下…
展开
-
高效准确处理scipy.misc 中imresize、imread导入错误问题
对于处理Caltech_Pedestrian数据集,在不改变python和scipy的前提下,成功使用scipy.misc中的imresize、imread函数,使得数据集处理结果一致。原创 2022-08-07 15:25:46 · 3272 阅读 · 0 评论 -
pytorch 在原有模型上添加新层
"""第一种替换方法"""qian_line = net.lineclass Add_Drop(nn.Module): def __init__(self, qian_line): super(Add_Drop, self).__init__() self.add_drop = nn.Sequential( nn.Dropout(0.3), qian_line ) def forward.原创 2021-07-20 21:28:58 · 4868 阅读 · 0 评论 -
无约束优化迭代法并以多元回归损失函数为例
一、从泰勒展开式了解极小值点:首先在处泰勒展开式:标量:向量:对任意一个函数(标量):1.严格局部极小点值:2.等同于满足且向量:1.满足局部极小值:且(为正定矩阵),当为不定矩阵时,是一个鞍点。二、无约束优化迭代法(一)无约束优化迭代法基本结构:(1)设置参数初始点,设置convergencetolerance (当大于时停止迭代),记...原创 2020-02-11 00:18:08 · 513 阅读 · 0 评论 -
深度学习 前向传播与后向传播实例推导
举例:假设一个有两个隐藏层,每个隐藏层有一个神经元且接着一个sigmoid激活函数的神经网络例子,输入为x0,输出为pre,真实值为rel,经过第一个线性层为x11,第一个激活函数为x12;第二个线性层为x21,第二个激活函数为x22一、1.首先需要知道输出:pre= sig(w2*sig(w1*x0+b1)+b2) = sig(w2*x12+b2) , x12 = s...原创 2019-08-18 14:57:15 · 853 阅读 · 0 评论 -
深度学习网络优化
避免过拟合一、正则化1、(m,样本数),W为第n层的权重的大小(前一层的输出*当前层的神经元数),损失函数加上正则化项(神经网络所有权重参数)然后对w计算偏导,即可更新权重2、droupout即随机移除百分比(如0.2)的神经元,使其暂时不参与运算,即当次不更新其权重,使总的网络更“平均”,不依特定的几个神经元或权重。并且在下一层计算时,为保证期望不变结果需要除以0...原创 2019-08-28 11:53:38 · 415 阅读 · 0 评论 -
pytorch之torch基本函数导图
原创 2019-09-03 10:02:50 · 222 阅读 · 0 评论 -
PyTorch之pytorch.nn基本函数导图
原创 2019-09-03 10:12:08 · 142 阅读 · 0 评论 -
PyTorch之pytorch.optim函数导图
原创 2019-09-03 10:18:22 · 240 阅读 · 0 评论 -
PyTorch之Torchvision函数导图
原创 2019-09-03 10:19:56 · 121 阅读 · 0 评论 -
深度学习 激活函数理解
一、首先需要准备一个反向传播的例子。举例:假设一个有两个隐藏层,每个隐藏层有一个神经元且接着一个sigmoid激活函数的神经网络例子,输入为x0,输出为pre,真实值为rel,经过第一个线性层为x11,第一个激活函数为x12;第二个线性层为x21,第二个激活函数为x221.首先需要知道输出:pre= sig(w2*sig(w1*x0+b1)+b2) = sig(w2*x12+b2...原创 2019-08-17 00:50:39 · 1187 阅读 · 0 评论 -
Tensorflow初步之MNIST手写数字分类
神经网络(输入:784个神经元)(中间层:(1):1000,(2):300个神经元)(输出:10个神经元)一、import tensorflow as tffrom tensorflow.examples.tutorials.mnist import input_datamnist = input_data.read_data_sets("MNIST",one_hot=True)#...原创 2019-05-31 16:29:29 · 118 阅读 · 0 评论 -
Tensorflow优化器
转载 2019-06-01 22:02:39 · 113 阅读 · 0 评论 -
Tensorflow卷积神经网络之MNIST分类
卷积神经网络过程:卷积层池化层全连接层python步骤:1.设置占位符2.可设置多层卷积层。每一层需要权值,n个卷积核、n个偏置值、激活函数、池化层3.可设置多层全连接层。每一层需要权值、偏置值、激活函数4.设置代价函数及优化器,计算结果python代码:import tensorflow as tffrom tensorflow.examples.tu...原创 2019-06-02 21:26:57 · 131 阅读 · 0 评论 -
TensorBoard可视化
import tensorflow as tf#参数概要def variable_summaries(var): with tf.name_scope('summaries'): mean = tf.reduce_mean(var) tf.summary.scalar('mean', mean)#平均值 with tf.name_s...原创 2019-06-02 22:08:58 · 99 阅读 · 0 评论 -
Tensorflow模型保存与调用
一、模型保存saver = tf.train.Saver()与saver.save(sess,'net/my_net.ckpt') 函数import tensorflow as tfsaver = tf.train.Saver()with tf.Session() as sess: sess.run(init) for epoch in range(11): ...原创 2019-06-03 21:47:22 · 187 阅读 · 0 评论 -
pytorch 加载并批处理数据集
一、加载数据集加载数据集需要继承torch.utils.data 的 Dataset类,并实现 __len__和__getitem__方法。其中__len__返回数据集总数,__getitem__返回指定的数的矩阵和标签。二、数据集批处理需要torch.utils.data 的DataLoader类,有batch_size(批处理尺寸),num_workers(多进程),Samp...原创 2019-08-06 15:36:19 · 548 阅读 · 0 评论 -
pytorch requires_grad与优化器优化
import torch.nn as nnimport torchimport torch.optim as optimm = torch.randn((2,3,6))class Abc(nn.Module): def __init__(self): super().__init__() self.relu = nn.Linear(18,1)...原创 2019-08-13 14:41:43 · 484 阅读 · 0 评论 -
Tensorflow初步之非线性回归
神经网络(输入:1个神经元)(中间层:10个神经元)(输出:1个神经元)一、创造二次函数并加入噪声import tensorflow as tfimport matplotlib.pyplot as pltimport numpy as np#创造二次函数并加入噪声(神经网络输入及真实输出)x_data = np.linspace(-0.5,0.5,200)[:,np.newa...原创 2019-05-31 12:23:07 · 119 阅读 · 0 评论