深度学习
Jack_Kuo
https://github.com/JackKuo666
展开
-
【keras】:指标的计算:mse 在训练的过程中的累计计算问题
问题最近在使用keras做一个简单的回归模型的时候,使用模型训练的mse来看指标的时候发现和本地计算的不一致。 history1 = model.fit(X_train, y_train, batch_size=1, epochs=100, verbose=1) loss_list = history1.history["mse"]原因查询原因发现:model下面的指标是累积的,在当前batch上的结果会和之前的batch做平均。结论这部分可以在训练过程中看是有用的,但是训练完原创 2022-01-04 10:39:50 · 1283 阅读 · 0 评论 -
【NLP挑战赛】:1、基于sklearn的train数据拆分为train&dev
如题,在训练一些模型的时候,只有train数据,需要我们手动拆分为train&dev,来进行模型的验证。这里使用一个sklearn的简单方法。import loggingimport pandas as pdfrom sklearn.model_selection import train_test_splitlogging.basicConfig(level=logging.INFO, format='%(asctime)-15s %(levelname)s: %(message)s')原创 2021-08-12 10:50:37 · 408 阅读 · 0 评论 -
【API】: keras 中的 verbose 详解
在 fit 和 evaluate 中 都有 verbose 这个参数,下面详细说一下fit 中的 verboseverbose:日志显示verbose = 0 为不在标准输出流输出日志信息verbose = 1 为输出进度条记录verbose = 2 为每个epoch输出一行记录注意: 默认为 1evaluate 中的 verboseverbose:日志显示verbose = 0 为不在标准输出流输出日志信息verbose = 1 为输出进度条记录注意: 只能取 0 和 1;默认为原创 2021-07-14 13:17:30 · 317 阅读 · 0 评论 -
【框架】:适用于端侧的深度学习推理框架:TensorRT
1.TensorRT是什么TensorRT: GPU Inference Engine(简称GIE)2.推断(Inference)可以做什么?推断(Inference)的网络权值已经固定下来,无后向传播过程,因此可以:(1)模型固定,可以对计算图进行优化(2) 输入输出大小固定,可以做memory优化推断(Inference)可以使用低精度的技术,另一方面是模型需要的空间减少,不管是权值的存储还是中间值的存储,应用更低的精度,模型大小会相应减小。3.推断(Inference)可以原创 2020-08-14 17:43:12 · 799 阅读 · 0 评论 -
【面试问题】:说一下LeNet到AlexNet的区别?
1、AlexNet比LeNet更深;2、用多层的小卷积来替换单个的大卷积;3、非线性激活函数:ReLU4、 防止过拟合的方法:Dropout,Data augmentation5、大数据训练:百万级ImageNet图像数据6、其他:GPU实现,LRN归一化层的使用...原创 2020-03-13 21:28:58 · 1408 阅读 · 0 评论 -
【Python实现卷积神经网络】:推导卷积层的W,b的梯度
通过之前的学习【Python实现卷积神经网络】:卷积层的正向传播与反向传播+python实现代码,我们知道卷积层的反向传播有三个梯度要求:1.对输入数据的求导 2.对W的求导 3.对b的求导 当时,我写2.对w求导时,参考的是这篇文章:CNN卷积神经网络和反向传播,而他的对w求导是需要将卷积层的输入数据做180度翻转,下图是摘自这个博客:所以,我依照这个说法,...原创 2018-08-21 17:06:23 · 4257 阅读 · 1 评论 -
【CNN小问题集锦】
1. max pooling和mean pooling(averge pooling)的区别1.1 说法一1pooling的作用主要有两个: 1.是保持不变性(旋转,平移,尺度) 2.是去除冗余信息,减少参数,防止过拟合。 在现在的DL中,数据量巨大。不同的样本基本已经涵盖了数据的平移,旋转,尺度不变性,所以现在的pooling更多的是被赋予上面所说的第2个作用。也...原创 2018-08-28 16:53:35 · 526 阅读 · 0 评论 -
【Python实现卷积神经网络】:反向传播推导卷积层对输入数据的求导
0.前言 通过之前的学习【Python实现卷积神经网络】:卷积层的正向传播与反向传播+python实现代码,我们知道卷积层的反向传播有三个梯度要求:1.对输入数据的求导 2.对W的求导 3.对b的求导 这篇博客推导第一个公式:对输入数据求导。如下公式是怎么来的: 1.【对输入数据求导】计算方法一 我在之前的博客中举了正向传播输入数据不带p...原创 2018-08-23 15:59:10 · 2009 阅读 · 0 评论 -
【Python实现卷积神经网络】:用自己的图片制作cifar-10格式的数据用于测试神经网络+python实现代码
当我们训练好基于cifar-10的分类神经网络之后,怎样用自己的图片测试效果呢? 这里我们分成几个步骤: 1.利用cifar-10训练分类神经网络,保存训练好的参数 2.利用测试网络加载训练好的参数 3.将自己的图片转换成cifar-10格式的数据 4.将转换好的数据输入测试网络 5.输出结果本篇博客主要讲怎样用python实现“3.将自己的图片转换成cifar-10格式的数据” ...原创 2018-08-20 11:17:31 · 2095 阅读 · 0 评论 -
【Python实现卷积神经网络】:卷积层的正向传播与反向传播+python实现代码
【待更】原创 2018-08-01 22:16:14 · 15355 阅读 · 3 评论 -
【Python实现卷积神经网络】:池化层的正向传播与反向传播+python实现代码
1.池化层的解释 池化层的输入一般来源于上一个卷积层,主要作用是提供了很强的鲁棒性(例如max-pooling是取一小块区域中的最大值,此时若此区域中的其他值略有变化,或者图像稍有平移,pooling后的结果仍不变),并且减少了参数的数量,防止过拟合现象的发生。池化层一般没有参数,所以反向传播的时候,只需对输入参数求导,不需要进行权值更新。12.池化层的前向传播 前向计算过程中...原创 2018-08-01 12:10:41 · 4088 阅读 · 1 评论 -
【Python实现卷积神经网络】:激活层RELU的正向与反向传播+python实现代码
1.神经网络激活函数介绍1.Relu函数的导数计算原创 2018-07-31 21:59:58 · 9560 阅读 · 0 评论 -
【神经网络】用python从底层实现一个卷积神经网络
一、背景介绍:卷积神经网络(CNN) 卷积神经网络(ConvolutionalNeural Network,CNN)是人工神经网络的一种。当前已经成为图像和语音识别领域有十分广泛的应用,特别是在识别位移、缩放及其他形式扭曲不变性的二维图形方面有十分优异的表现,已经成为一个十分重要的研究方向。 关于CNN的详细解释可以看这里:http://blog.csdn.net/zouxy09/ar...原创 2018-07-30 19:32:01 · 10343 阅读 · 2 评论