动手学深度学习
文章平均质量分 60
沐神视频课笔记
Star星屹程序设计
编程新手,个人记笔记,方便日后看,很多东西记着只是为了自己方便。。喷子请绕道!!!
展开
-
GPU顺序设置不生效
显卡设置顺序无效原创 2022-09-15 16:14:00 · 449 阅读 · 0 评论 -
[动手学深度学习(PyTorch)]——数值稳定性
当神经网络变得很深的时候,数值很容易变得不稳定数据稳定性常见的两个问题:梯度爆炸、梯度消失 当数值过大或者过小的时候都会导致数值问题 常发生在深度模型中,因为其会对n个数累乘梯度爆炸问题:梯度消失问题:让训练更稳定:检查常见的激活函数:scaled sigmoid函数: 4 * sigmoid(x) - 2...原创 2022-03-18 12:05:51 · 589 阅读 · 0 评论 -
[动手学深度学习(PyTorch)]——丢弃法Dropout
正则化通过为模型损失函数添加惩罚项使得学出的模型参数值较小,是应对过拟合常用手段丢弃法(Dropout)是一种在学习的过程中随机删除神经元的方法。训练时随机选出隐藏层的神经元,然后将其删除。被删除的神经元不再进行信号的传递。有效抑制过拟合的一种正则化手段 通常作用再隐藏全连接层的输出上 训练时,每传递一次信号,就会随机选择要删除的神经元(丢弃法将一些输出项随机置为0来控制模型的复杂度) 测试时,虽然会传递所有的神经元信号,但是对于各个神经元的输出,要乘上训练时的删除比例后再输出 丢弃概率是.原创 2022-03-16 10:55:14 · 2681 阅读 · 0 评论 -
[动手学深度学习(PyTorch)]——权重衰退(Weight decay)
权重衰退是一种解决过拟合的方式正则项:在训练参数化机器学习模型时,权重衰减(weight decay)是最广泛使用的正则化的技术之一, 它通常也被称为L2正则化。 这项技术通过函数与零的距离来衡量函数的复杂度 使用L2范数的一个原因是它对权重向量的大分量施加了巨大的惩罚。 这使得我们的学习算法偏向于在大量特征上均匀分布权重的模型。 在实践中,这可能使它们对单个变量中的观测误差更为稳定。惩罚项的加入,是得最优值向着原点方向靠近。。原来的最优点会受到罚值的影响。参数更新法则...原创 2022-03-16 09:46:59 · 2520 阅读 · 0 评论 -
[动手学深度学习(PyTorch)]——模型选择
写在前面:两种误差训练误差:模型在训练数据上得误差 泛化误差:模型在新数据上的误差如何计算训练误差和泛化误差:验证数据集:一个用来评估模型好坏的数据集 验证数据集一定不能和训练数据集混淆在一起 测试数据集:只用一次的数据集K-则交叉验证:注意:数据集不大的情况下,通常采用K则交叉验证过拟合和欠拟合:数据简单的时候选择复杂的模型,就会出现过拟合;数据复杂的时候选择简单的模型会出现欠拟合模型容量的影响:模型容量需要匹配数据复杂度,否则可能导致欠拟合或者过拟合。如.原创 2022-03-15 09:57:24 · 1707 阅读 · 0 评论 -
[动手学深度学习(PyTorch)]——多层感知机
之前不会的一个知识点:(2条消息) python----引用其他py文件中的函数_qq_41978536的博客-CSDN博客_python引用其他py文件的函数一、感知机1、单层感知机给定输入x,权重w,和偏移b,感知机输出。相比线性回归加入了激活函数。感知机是一个二分类的模型 可以解决线性分类问题,但是感知机不能拟合XOR问题,因为他只能产生线性分割面2、多层感知机多层感知机引入了隐藏层。多层感知机的层数是去除输入层后的层数。隐藏层的大小是超参数 激活函数:激原创 2022-03-14 16:17:23 · 2956 阅读 · 0 评论 -
[动手学深度学习(PyTorch)]——图像分类数据集、Softmax实现
TorchVision库torchvision包含一些常用的数据集、模型、转换函数等等。当前版本0.5.0包括图片分类、语义切分、目标识别、实例分割、关键点检测、视频分类等工具,它将mask-rcnn功能也都包含在内了。mask-rcnn的Pytorch版本最高支持torchvision 0.2.*,0.3.0之后mask-rcnn就包含到tensorvision之中了。torchvision是独立于pytorch的关于图像操作的一些方便工具库。torchvision库简介(翻译) - 看看完了原创 2022-03-13 17:39:07 · 1595 阅读 · 0 评论 -
[动手学深度学习(PyTorch)]——线性模型&基础优化算法
一、线性模型线性模型:可以看做是单层的神经网络衡量指标:参数学习:总结:二、优化算法1、梯度下降学习率的选择:不能太大也不能太小(1)小批量随机提取下降批量不能太小:批量值太小的话,每次计算量太小,不适合并行来最大利用计算资源批量也不能太大:批量值太大的话,内存消耗增加,浪费计算三、线性回归从零开始实现1、人工构造数据#从零实现整个方法,包括数据流水线、模型、损失函数和小批量随机梯度下降优化器%matplotlib ...原创 2022-03-12 20:05:06 · 1108 阅读 · 1 评论 -
[动手学深度学习(PyTorch)]——自动求导
一、自动求导自动求导计算一个函数在指定值上的导数1、计算图显示构造:TensorFlow、Theano、MXNet隐式构造:PyTorch2、自动求导的两种模式正向传播:就是先从x出发,u1关于x的导数求出来,借助链式求导法则,此时就可以求u2关于x的导数 反向传播:就是先从y出发.二、自动求导的实现x.requires_grad_(bool):是否需要定义空间保存梯度信息 x.grad:该属性用来获取空间中保存的梯度信息 x.grad.zero.原创 2022-03-12 16:22:00 · 1269 阅读 · 0 评论 -
[动手学深度学习(PyTorch)]——数据操作
准备:sudo apt install build-essential安装必要的软件,比如gcc之类的。这里使用anaconda做环境准备 端口映射:ssh -L8888:localhost:8888 username@ip_addr(将远端的8888端口映射到本地的8888端口)原创 2022-03-12 10:07:16 · 842 阅读 · 0 评论 -
[动手学深度学习(PyTorch)]——梦开始的地方
目标:介绍深度学习经典和最新的模型 LeNet、ResNet、LSTM、BERT..... 机器学习基础 损失函数、目标函数、过拟合、优化 实践 使用Pytorch实现介绍的知识点 在真实数据上体验算法效果 内容:深度学习基础——线性神经网络、多层感知机 卷积神经网络——LeNet、AlexNet、VGG、Inception、ResNet 循环神经网络——RNN、GRU、LSTM、seq2seq 注意力机制——Attention、Transformer 优化算法—.原创 2022-03-11 11:07:26 · 3425 阅读 · 0 评论 -
2021北京交通大学《深度学习》平台课—第1讲:绪论
1、人工智能和机器学习概述 (1)人工智能军备竞赛:百度(自动驾驶)、阿里云(城市大脑)、腾讯(医疗影像)、科大讯飞(智能语音) (2)人工智能人才缺口 (3)人工智能高等教育 (4)什么是人工智能?是机器像人一样进行感知、认知、决策、执行的人工程序或系统。 (5)人工智能的起源 约翰·麦卡锡:LISP符号处理语言 摩尔 明斯基 塞弗里奇 索罗门诺夫:归纳推理机,影响贝叶斯推理过程 (6)人工智能发展标志性事件 1956—达特茅斯会议标志AI诞生 1957—罗森原创 2021-07-16 11:37:07 · 1551 阅读 · 0 评论