自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(18)
  • 收藏
  • 关注

原创 Panda 知识点总结 带代码(上)

文章目录一. Pandas Series结构1)创建Series对象1 .创建空Series对象2.ndarray创建Series对象3.dict创建Series对象4.标量创建Series对象2)访问Series数据3)Series常用属性4)Series常用方法1.head()&tail()查看数据2.isnull()&nonull()检测缺失值二.Pandas DataFrame 结构1)创建DataFrame对象1.创建空的DataFrame对象2.列表创建DataFame对象3.字

2021-12-24 22:01:58 1502

原创 Batch Normalization 批量归一化

文章目录为什么要Batch Normalization?Batch Normalization的好处?不用sigmoid还用Normalization?????为什么要Batch Normalization?这是由于Sigmoid的特性由于在多层神经网络,后面的X会很容易很大,所以sigmoid会趋近与无穷,而sigmoid趋近与无穷时,梯度的下降会变得很小,我们很难训练神经网络而Batch Normalization就是为了解决,把X的取值拉回到-5到-5这个区间,这样才有比较好的非线性性Ba

2021-12-21 20:45:45 495

原创 AlexNet论文小笔记

是用了深度卷积网络(Deep Convolutional Neural Networks)https://www.cs.ryerson.ca/~aharley/vis/conv/使用Relu快六倍文章目录The ArchitectucreThe Architectucre

2021-12-19 09:45:53 677

原创 动手深度学习v2 汇聚层pooling 课后习题

文章目录1.你能将平均汇聚层作为卷积层的特殊情况实现吗?2.你能将最大汇聚层作为卷积层的特殊情况实现吗?3.假设汇聚层的输入大小为 c×h×w ,则汇聚窗口的形状为 ph×pw ,填充为 (ph,pw) ,步幅为 (sh,sw) 。这个汇聚层的计算成本是多少?4.为什么最大汇聚层和平均汇聚层的工作方式不同?5.我们是否需要最小汇聚层?可以用已知函数替换它吗?6.除了平均汇聚层和最大汇聚层,是否有其它函数可以考虑(提示:回想一下softmax)?为什么它不流行?1.你能将平均汇聚层作为卷积层的特殊情况实现吗

2021-12-17 20:10:30 1560 2

原创 动手深度学习v2 多输入多输出通道课后习题

文章目录1.多输入多输出通道2.假设输入为 ci×h×w ,卷积核大小为 co×ci×kh×kw ,填充为 (ph,pw) ,步幅为 (sh,sw) 。3.如果我们将输入通道 ci 和输出通道 co 的数量加倍,计算数量会增加多少?如果我们把填充数量翻一番会怎么样?4.如果卷积核的高度和宽度是 kh=kw=1 ,前向传播的计算复杂度是多少?5.本节最后一个示例中的变量Y1和Y2是否完全相同?为什么?6.当卷积窗口不是 1×1 时,如何使用矩阵乘法实现卷积?1.多输入多输出通道假设我们有两个卷积核,大小分

2021-12-15 19:25:58 4588 3

原创 动手深度学习v2 图像卷积课后习题

文章目录1.构建一个具有对角线边缘的图像X。1.构建一个具有对角线边缘的图像X。1.如果将本节中举例的卷积核K应用于X,会发生什么情况?2.如果转置X会发生什么?3.如果转置K会发生什么?都是zero matrix.2.在我们创建的Conv2D自动求导时,有什么错误消息?我们传讲的Conv2D智能算2D的3.如何通过改变输入张量和卷积核张量,将互相关运算表示为矩阵乘法?4.手工设计一些卷积核:二阶导数的核形式是什么?积分的核形式是什么?得到 d 次导数的最小核大小是多少?..

2021-12-14 16:25:20 3337

原创 动手深度学习v2 从全连接到卷积课后习题

文章目录1.假设卷积层 (6.1.3)覆盖的局部区域 Δ=0 。在这种情况下,证明卷积内核为每组通道独立地实现一个全连接层。2.为什么平移不变性可能也不是好主意呢?3.当从图像边界像素获取隐藏表示时,我们需要思考哪些问题?4.描述一个类似的音频卷积层的架构。5.卷积层也适合于文本数据吗?为什么?6.证明在 (6.1.6)中, f∗g=g∗f 。前言:记录自己学习的过程1.假设卷积层 (6.1.3)覆盖的局部区域 Δ=0 。在这种情况下,证明卷积内核为每组通道独立地实现一个全连接层。这个没有很get到,

2021-12-13 22:34:34 2260

原创 动手深度学习v2 kaggle房价基础知识理解

文章目录为什么要优化?优化方法为什么要使lr动态化Adam前言在沐神的动手深度学习中v2的房价预测中,第一次遇到了adam优化,对于小白的我,肯定没听过adam什么的,所以就上网查了一下。补了下知识。为什么要优化?在神经网络中,我们通常都用梯度下降法来更新参数,但是这会有个弊端——计算量会很大。假如你有一张1080x1920的图片,在加上RGB,就等于6220800,所以人们就想了两个办法1.从神经网络结构出发,增加池化层,dropout等2.从梯度下降本身出发下面重点在第二个优化方法

2021-12-11 17:41:05 656

原创 西瓜书 机器学习 第五章读书笔记

文章目录前言5.1 神经元模型5.2 感知机和多层网络5.3 误差逆传播算法5.4 全局最小和局部最小前言新手,记录一下自己的理解,也是读书笔记,并不进行公式推导。(公式推导的视频也很多)5.1 神经元模型神经网络是 T.Kohonen在1988给出的定义因为阶跃函数的不连续和不光滑,所以我们的激活函数通常会采用sigmoid。5.2 感知机和多层网络为什么要引入感知机和多层网络?在简单的处理中,比如与,或,非,如果W求的不好,容易发生震荡。其次单层神经元无法解决更复杂的问题,比如异或。

2021-12-07 22:21:22 723

原创 动手深度学习v2 层和块课后习题 基于Pytorch

文章目录一.层和块1.如果将MySequential中存储块的方式更改为Python列表,会出现什么样的问题?2.实现一个块,它以两个块为参数,例如net1和net2,并返回前向传播中两个网络的串联输出。这也被称为平行块。3.假设你想要连接同一网络的多个实例。实现一个函数,该函数生成同一个块的多个实例,并在此基础上构建更大的网络一.层和块1.如果将MySequential中存储块的方式更改为Python列表,会出现什么样的问题?这个问题想了很久,也查了。还是没想到合适的。开始想的是会不会产生地址冲突,

2021-12-06 15:34:23 1621 2

原创 激活函数的作用

在我看过的几个视频里在神经网络里都讲了激活函数,当时的理解就仅限于他们说的,如果不加激活函数的话,很多层隐藏层也还就是相当于一层。那就是线性网络。当时的理解只是为什么不用,当是没去想为什么要用。后来简单想了下。其实也不难,只是自己没想。打个比方,加入要对猫和狗进行分类这样就比较只管了。...

2021-12-04 23:04:28 232

原创 动手深度学习v2 权重衰减公式理解 拉格朗日和正则化的理解之一

文章目录前言一.什么是正则化(regularization)1. 为什么要用l1和l2 范数二.神经网络为什么会产生过拟合(原因之一)1.W和b参数值不唯一?三.拉格朗日的'介入'l1 范数和l2范数的特点前言这次看见沐神讲的权重衰退,权重衰退就是为了处理过拟合的现象,但是一下抛出来这个公式就是不是很理解,还和拉格朗日有关,作为高数早忘的我就查了一下,在b站这个大神讲的还不错,我就整理了一下,从三个角度去理解,我暂时就整理了第一个。L1和L2正则化”直观理解(之一),从拉格朗日乘数法角度进行理解一

2021-12-03 17:05:49 730 1

原创 动手深度学习v2 多层感知机和从零开始实现部分习题

1.计算pReLU激活函数的导数。2.证明一个仅使用ReLU(或pReLU)的多层感知机构造了一个连续的分段线性函数。3.证明 tanh(????)+1=2sigmoid(2????) 。4.假设我们有一个非线性单元,将它一次应用于一个小批量的数据。你认为这会导致什么样的问题?1.计算pReLU激活函数的导数。pReLU(????)=max(0,????)+????min(0,????).x大于零是为1,小于零时为????2.证明一个仅使用ReLU(或pReLU)的多层感知机构造了一个连续的分

2021-11-30 18:22:40 4057 4

原创 动手深度学习v2 线性神经网络代码分析 基于pytorch

文章目录前言一、线性回归的从零开始实现1.引入库2.生成数据集3. 读取数据集4.初始化模型参数5.定义模型6.训练二、线性回归的简洁实现1.读取数据集2.定义模型3.初始化模型参数4. 定义损失函数5.定义优化算法6.训练总结前言记录沐神动手深度mj学习的过程,欢迎指出错误。????分析动手深度学习的代码 这里的一、线性回归的从零开始实现1.引入库%matplotlib inlineimport randomimport torchfrom d2l import torch as

2021-11-30 10:32:35 520

原创 动手深度学习v2 softmax回归的从零开始实现作业 基于pytorch

1.在本节中,我们直接实现了基于数学定义softmax运算的softmax函数。这可能会导致什么问题?提示:尝试计算 exp(50) 的大小。2.本节中的函数cross_entropy是根据交叉熵损失函数的定义实现的。这个实现可能有什么问题?提示:考虑对数的定义域。3.你可以想到什么解决方案来解决上述两个问题?4.返回概率最大的标签总是一个好主意吗?例如,医疗诊断场景下你会这样做吗?5假设我们希望使用softmax回归来基于某些特征预测下一个单词。词汇量大可能会带来哪些问题?1.在本节中,我们直接

2021-11-28 17:51:19 2489

原创 动手学深度学习v2课后习题 线性回归的从零开始实现基于pytorch

1.如果我们将权重初始化为零,会发生什么。算法仍然有效吗?2.假设你是 乔治·西蒙·欧姆 ,试图为电压和电流的关系建立一个模型。你能使用自动微分来学习模型的参数吗?3.您能基于 普朗克定律 使用光谱能量密度来确定物体的温度吗?4.如果你想计算二阶导数可能会遇到什么问题?你会如何解决这些问题?5.为什么在 squared_loss 函数中需要使用 reshape 函数?6.尝试使用不同的学习率,观察损失函数值下降的快慢。7.如果样本个数不能被批量大小整除,data_iter函数的行为会有什么变化?

2021-11-27 18:21:29 3194 2

原创 动手学深度学习v2课后习题 线性回归 基于pytorch

不是很会,后面应该还会改改

2021-11-26 20:54:01 1031

原创 动手学深度学习v2课后习题 linear-algebra 基于pytorch

记录自学过程1.证明一个矩阵 ???? 的转置的转置是 ???? : (????⊤)⊤=???? 。2.给出两个矩阵 ???? 和 ???? ,显示转置的和等于和的转置: ????⊤+????⊤=(????+????)⊤ 。3.给定任意方矩阵 ???? , ????+????⊤ 总是对称的吗?为什么?4.我们在本节中定义了形状(2,3,4)的张量X。len(X)的输出结果是什么?5.对于任意形状的张量X,len(X)是否总是对应于X特定轴的长度?这个轴是什么?6.运行A/A.sum(axis=1

2021-11-25 23:07:26 1203

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除