深度学习
文章平均质量分 89
假设深度学习要处理的信息是“水流”,而处理数据的深度学习网络是一个由管道和阀门组成的巨大水管网络。
卖strawberry的小女孩
道阻且长,行则将至。
展开
-
机器学习、深度学习常用专业术语
主要记录一些深度学习中可能用到的专业术语,一般是碰到了不懂的才记录,所有没有按一定的规律记录。1、梯度下降(gradient descent)2、学习速率(learning rate):学习率指每次迭代中 对成本函数的“最小化次数”。**3、反向传播(back propagation):**一次迭代后,根据产生的结果计算出整个网络的偏差,然后用偏差结合“成本函数的梯度”,对“权重因子进行调整”,使得下次迭代的过程中偏差变小。这样一个结合成本函数的梯度 来调整 权重因子 的过程就叫做反向传播。4、常用原创 2021-12-27 13:36:47 · 864 阅读 · 0 评论 -
深度学习笔记4——RNN、LSTM
RNNRNN与BP的区别传统的神经网络没有设计记忆结构,难以处理序列数据,循环神经网络(RNN)针对BP神经网络的缺点,增加了信息跨时代传递的结构。当我们处理与事件发生的时间轴有关系的问题时,比如自然语言处理,文本处理,文字的上下文是有一定的关联性的;时间序列数据,如连续几天的天气状况,当日的天气情况与过去的几天有某些联系;又比如语音识别,机器翻译等RNN的历史信息传递方式对于RNN,每个时刻的隐藏层除了连接本层的输入层与输出层,还连接上一时刻和下一时刻的隐藏单元。BPTT基于时间的反向传播(原创 2022-03-14 17:15:01 · 1248 阅读 · 0 评论 -
深度学习笔记3——AlexNet
1、背景介绍在2012年的ImageNet竞赛中,AlexNet获得了top-5测试的15.3%error rate, 获得第二名的方法error rate 是 26.2%AlexNet有60 million个参数和65000个 神经元,五层卷积,三层全连接网络,最终的输出层是1000通道的softmax。训练这种规模的网络要大量的计算能力,AlexNet利用了GPU提供的大量并行能力,利用两块GPU分配网络训练的工作,大大提高了运算效率。近60年的发展趋势:2、与LeNet相较更深更大的Le原创 2022-03-04 16:40:16 · 3218 阅读 · 0 评论 -
深度学习笔记1——常见激活函数、MP、BP
1、常见的深度学习框架TensorFlow:最流行的深度学习框架,接口过于复杂抽象Keras:缺少灵活性Caffe:缺少灵活性PyTorch:新增自对求导系统2、万能近似定理是深度学习最根本的理论依据。它声明了在给定网络具有足够多的隐藏单元的条件下,配备一个线性输出层和一个带有任何“挤压”性质的激活函数(如logistic sigmoid激活函数)的隐藏层的前馈神经网络,能够以任何想要的误差量近似任何从一个有限维度的空间映射到到另一个有限维度空间的Borel可测的函数。3、常见激活函数1.原创 2022-02-24 15:47:44 · 1477 阅读 · 0 评论 -
深度学习笔记2——卷积神经网络、LeNet5
1、卷积神经网络( Convolutional Neural Network, CNN)1.1 局部感受野(Local Receptive Fields)对于一般的深度神经网络,往往会把图像的每一个像素点连接到全连接的每一个神经元中,而卷积神经网络则是把每一个隐藏节点只连接到图像的某个局部区域,从而减少参数训练的数量。例如,一张1024×720的图像,使用9×9的感受野,则只需要81个权值参数。对于一般的视觉也是如此,当观看一张图像时,更多的时候关注的是局部。1.2 共享权值(Shared Weigh原创 2022-03-01 10:10:46 · 2631 阅读 · 0 评论 -
SSD-Pytorch,Darknet数据集转VOC训练、检测图片、全流程跑通
文章目录一、环境二、下载SSD-Pytorch git项目一、环境千辛万苦走通后,发现版本真的坑死人。我的版本:python3.6 + cuda 10.2 + pytorch1.7.1 + numpy1.15.1(建议:据说将pytorch的版本降低为1.2及以下的版本。但是我的cuda是10.2,目前不支持1.2及其以下的GPU版的pytorch,重安装太麻烦了,我就只能在后边解决问题了)二、下载SSD-Pytorch git项目...原创 2021-12-14 13:35:39 · 2347 阅读 · 0 评论