CS231n 计算机视觉（学习笔记）第六章（0805）

最新推荐文章于 2024-01-14 15:54:40 发布
最新推荐文章于 2024-01-14 15:54:40 发布
阅读量142 收藏
点赞数
分类专栏： 计算机视觉 文章标签： 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yq1271/article/details/107823212
版权
本章节详细介绍了计算机视觉中的深度学习技术，重点讨论了激活函数如Sigmoid、tanh、ReLU及其变种，强调了ReLU在解决梯度消失问题上的优势。此外，还探讨了数据预处理的重要性，包括零均值化和标准差归一化。同时，权重初始化的方法，特别是Xavier初始化，以及批量归一化的概念和作用也被深入阐述。最后，监控训练过程和超参数调整的策略，如学习率的选择，对于优化模型性能至关重要。
摘要由CSDN通过智能技术生成

第六章

最小批量随机梯度下降：

	连续的批量抽样
	通过计算图或神经网络将数据正向传播  得到损失值
	通过整个网络的反向传播  计算梯度
	使用这个梯度  更新网络中的参数或权重

6.1 激活函数

  1. Sigmoid----类似神经元的饱和放电率
    存在梯度消失的问题，输入绝对值太大；
    非0中心函数，当输入值仅为正或负时，梯度沿相同方向变化；
    计算代价较大
  2. tanh（x）----零中心
    饱和时，梯度消失
    表现略强于Sigmoid
  3. ReLU f(x)=max(0,x)
    在正区，不会出现饱和
    计算速度快、代价小，更快收敛
    更加具备生物学上的合理性
    dead ReLU：在整个半区出现梯度消失
  4. Leaky ReLU f(x)=max(0.01x,x)
  5. PReLU f(x)=max(ax,x)
  6. ELU----输出均值更接近0
  7. Maxout Neuron
    泛化，在两个线性函数中取最大值
    但参数量、涉及神经元数量 翻倍

6.2 数据预处理

标准类型：零均值化（零中心化，常用）、标准差归一化
减去某个通道的均值（容易传送和处理）

6.3 初始化权值

Eg.如果初始值全部赋0，则所有神经元将采取相同操作，即所有神经元将一致
小型网络：小的随机数，标准高斯分布

最低0.47元/天 解锁文章
阿桥今天吃饱了吗
关注
专栏目录
【CS231n】斯坦福大学李飞飞视觉识别课程笔记
种树最好的时间是10年前，其次是现在！！！
04-06 1万+
最近开了一个新坑——【CS231n】斯坦福大学李飞飞视觉识别课程，准备认真学习并记录自己的学习历程。 由官方授权的CS231n课程笔记翻译知乎专栏——智能单元，比较详细地翻译了课程笔记，我这里就是参考和总结。 【CS231n】斯坦福大学李飞飞视觉识别课程笔记（一）：Python Numpy教程(1) 【CS231n】斯坦福大学李飞飞视觉识别课程笔记（二）：Python Numpy教程(2)...
Python计算机视觉编程第六章 图像聚类
Yangshengmig_zZ
08-13 1408
图像聚类1 K-means聚类1.1 Scipy聚类包1.2 图像聚类1.3 在主成分上可视化图像1.4 像素聚类2 层次聚类3 谱聚类 本章将介绍几种聚类方法，并展示如何利用他们对图像进行聚类，从而寻找相似的图像组。聚类可以用于识别、划分图像数据集，组织和导航。此外，我们还会对聚类后的图像进行相似性可视化。 1 K-means聚类 K-means是一种将输入数据划分成k个簇的简单聚类算法。K-means反复提炼初始评估的类中心，步骤如下： 1）以随机或猜测的方式初始化类中心μi\mu_iμi​，i=1…k
计算机视觉学习第六章——图像聚类
jgq1466693的博客
08-12 4162
计算L的特征向量，并使用K个最大特征值对应的k个特征向量，构建出一个特征向量集从而找到聚类簇，创建一个矩阵，这个矩阵就是有求出的k个特征向量构成的每一行都可以看成是一个新的特征向量，长度为k，本质上谱聚类算法是将原始空间中的数据转换成更容易聚类的新的特征向量。这里进行对一个单幅图像中的像素而非全部图像中的像素而非全部图像进行聚类的例子，除了在一些简单的图像上，单纯在像素水平上应用K-means是无意义的，要产生有意义的结果往往就需要更复杂的类模型。对于给定的不同的阈值，可以直接利用原来的树，无需重新计算。.
Python计算机视觉第六章 图像聚类
m0_50882524的博客
09-14 1959
Python计算机视觉 第六章图像聚类
Python计算机视觉：第六章 图像聚类
热门推荐
GarfieldEr007的专栏
02-27 2万+
第六章 图像聚类 6.1 K-Means聚类 6.1.1 SciPy聚类包6.1.2 图像聚类6.1.3 在主成分上可视化图像6.1.4 像素聚类 6.2 层次聚类 6.2.1 图像聚类 6.3 谱聚类 这一章会介绍几种聚类方法，并就怎么使用它们对图像进行聚类找出相似的图像组进行说明。聚类可以用于识别，划分图像数据集、组织导航等。同时，我们也会用聚类相似的图像进行可视化
cs231n计算机视觉课程笔记
SereneL9的博客
01-11 1425
P2 目标识别 PASCAL 数据集 一个ImageNet（1500w—4000w、22000类） P3 2012： AlexNet 7-8 层 2014：VGG网络 19层 2015：残差网络152层 1998 LeCun CNN诞生用于数字识别，2012才开始流行的原因：计算能力、标签↑ P4 图像分类-数据驱动方法 计算机眼中的图像：一大堆数字：800*600的像素，每个像素由三个值表示（红、绿、蓝） 问题：语义鸿沟存在于人类定义的语义概念与计算机实际看到的像素值之间。 challenge：
（2023版）斯坦福CS231n学习笔记：DL与CV教程 (5&6) | 卷积神经网络
最新发布
女王の专属领地
01-14 473
本章（lecture5）花了很大篇幅介绍了卷积网络发展进程和基础的一些信息，这里不做详细记录，感兴趣可以直接看PPT！我们直接结合第五节的部分内容进入卷积神经网络部分Lecture6。
cs231n笔记计算机视觉--前18P笔记
juli_eyre的博客
10-12 868
cs231n笔记计算视觉斯坦福
斯坦福大学计算机视觉课程cs231n——第一课：课程介绍 计算机视觉概述
平什么阿的博客
07-28 2616
计算机视觉的发展 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 文章目录计算机视觉的发展前言一、视觉发展历史1.物种大爆炸1.物种大爆炸二、计算机视觉发展历史三、数据集四、卷积神经网络的发展五、挑战二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 一、视觉发展历
全球名校课程作业分享系列(6)--斯坦福计算机视觉与深度学习CS231n之神经网络细解与优化尝试
寒小阳
02-07 9542
课程作业原地址：CS231n Assignment 1 作业及整理：编写：@土豆 && @郭承坤 && @寒小阳 时间：2018年2月。 出处：http://blog.csdn.net/han_xiaoyang/article/details/79278882 待折腾的数据集 关于神经网络你起码应该知道的 所谓的前向传播 一个神经元的本事 强大的层状神经元 不废话了看代码
【2017cs231n】笔记-第1讲：计算机视觉概述及历史背景
hawkl123的博客
10-11 3088
课时1 计算机视觉概述 什么是计算机视觉？ 计算机视觉：针对视觉数据的研究。 在我们的世界中，就在过去的短短几年，视觉数据量爆炸式的增长到夸张的地步，这一点很大程度上得益于世界上许许多多的视觉传感器，大家都有智能手机，每个智能手机都有一个、两个、甚至3个摄像头，平均来说，世界上有比人更多的摄像头终端，并且由于所有的这些视觉传感器在这个世界上每天都产生有超级超级多的视觉数据。 下面分享来...
CS231n 课程作业 Assignment Two（六）Tensorflow（0902）
yq1271的博客
09-04 2007
Assignment Two（六）Tensorflow TensorFlow是一个用于在Tensor对象上执行计算图的系统，其原生支持为其变量执行反向传播。在其中，我们使用张量，它们是类似于numpy ndarray的n维数组。 一、准备与安装 1.1 创建新的虚拟环境 cmd命令 conda create -n tf_20_env python=3.7 启动 activate tf_20_env 安装作业一中的库 pip install -r D:\CS231nAssignment1\assignment
CS231n 课程作业 Assignment Two（二）全连接神经网络（0820）
yq1271的博客
08-24 1472
Assignment Two（二）全连接神经网络 主要工作为：模块化设计、最优化更新的几种方法 一、模块设计 在A1中，实现了完全连接的两层神经网络。 但功能上不是很模块化，因为损耗和梯度是在单个整体函数中计算的。 这对于简单的两层网络是可管理的，但是随着转向更大的模型，这将变得不切实际。 理想情况下，期望使用更具模块化的设计来构建网络，以便隔离地实现不同的层类型，然后将它们组合在一起成为具有不同体系结构的模型。 在本练习中，使用更加模块化的方法来实现完全连接的网络。 对于每一层，我们将实现前向和后向功能。
CS231n 课程作业 Assignment One（五）两层神经网络分类器（0816）
yq1271的博客
08-17 1458
两层神经网络分类器–Neural Network（2layers） 全连接神经网络、单隐藏层 一、原理 1.1 全连接神经网络 基础理论见另一篇文章–全连接神经网络 1.2 损失函数 （待完善，想看可留言） 二、实现 2.1 损失函数与求导 def loss(self, X, y=None, reg=0.0): """ Compute the loss and gradients for a two layer fully connected neural
CS231n 课程作业 Assignment Two（五）卷积神经网络（0830）
yq1271的博客
09-01 1384
Assignment Two（五）卷积神经网络 一、前提 和其他任务不同的是，需要安装一个cython的扩展包 在虚拟环境中安装cython和正常方式不同，最简单的就是在anaconda prompt中activate cs231n，然后使用pip install cython 这样就可以成功安装了（课程推荐的代码会有很多报错） ...
神经网络 专项1 FN--全连接网络（0806）
yq1271的博客
08-08 1322
FN–全连接网络 定义：对n-1层和n层而言，n-1层的任意一个节点，都和第n层所有节点有连接。即第n层的每个节点在进行计算的时候，激活函数的输入是n-1层所有节点的加权 引用自_寒潭雁影 显然，计算公式为：Z1=W11X1+W12X2+K1；Y=1/（1+e的-z次幂）（其他节点类推） 选用激活函数1/（1+e的-x次幂）----将线性转换成非线性 利用Sigmoid进行激活（类似于复合函数的过程） 步骤 a.前向传播 将每个节点的表达式排列出来 对所有的X、K、W带入实际数值，推导Z（1）和Y，再推O
CS231n 课程作业 Assignment Two（三）Batch Normalization（0824）
yq1271的博客
08-29 902
Assignment Two（三）Batch Normalization 使深层网络更容易训练的一种方法是使用更复杂的优化程序，例如SGD + momentum，RMSProp或Adam。另一种策略是更改网络的体系结构，使其更容易训练。遵循这些思路的一个想法是批量标准化。（机器学习方法的输入数据由零相关且单位方差为零的不相关特征组成时，它们往往会更好地工作） 在训练时，批处理归一化层使用少量数据来估计每个特征的均值和标准差。然后，将这些估计的均值和标准偏差用于对微型批次的特征进行居中和标准化。在训练过程中，
CS231n 课程作业 Assignment One（三）SVM分类器（0809）
yq1271的博客
08-15 847
SVM支持向量机 一、原理 1.1 线性分类器 线性SVM分类是给每一个样本一个分数，其正确的分数应该比错误的分数大。在实际分类中，为了提高分类器的鲁棒性，我们希望正确的分数比错误的分数大得多一些，其差值为▲ 损失函数公式：折叶损失（hinge loss），又称最大边界损失（max-margin loss） 得分向量公式： 引入正则项：1/2非必要项 1.2 求解损失函数关于权重矩阵的梯度 ...
CS231n深度学习课程：计算机视觉初步与作业总结
"cs231n前两次作业总结1" ...这篇文章详尽地介绍了计算机视觉中的关键概念和技术，尤其是通过完成CS231n的作业，作者深入学习了图像分类和卷积神经网络，这将有助于他们在模式识别与智能系统领域进行更深入的研究。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值