- 博客(16)
- 收藏
- 关注
RSS订阅原创 深度可分离卷积
深度可分离卷积（Depthwise Separable Convolution）是一种高效的卷积操作，它通过分解传统的卷积过程为两个独立的部分来减少模型的参数量和计算复杂度。主要包括两个步骤：深度卷积（Depthwise Convolution）和逐点卷积（Pointwise Convolution）。
2024-08-15 21:23:19
135
原创 梯度下降笔记
计算梯度是很贵的事情，所以我们选择学习率不能太小，也不能太大。模型通过学习得到的变量，比如线性模型里的权重w和偏差b。来源：B站动手学深度学习--李沐大神。当没有显示解的时候，我们可以通过。方法来进行权重的迭代获得最优解。程序员自己手动设置的参数。
2023-10-20 21:54:01
101
1
原创 线性模型——显示解
正规方程通过直接求解上述表达式，可以得到线性回归的最优参数估计。然而，正规方程的求解需要计算矩阵的乘法和逆运算，对于大规模问题可能存在计算复杂度较高的问题。在实际应用中，也可以使用其他数值优化算法，如梯度下降法，来求解线性回归的最优解。正规方程是线性回归中一种常用的解析方法，用于求解最小二乘问题，即找到一个最优解使得预测值与实际观测值的误差平方和最小化。其中，Y 是观测值的向量，X 是设计矩阵，β 是待估计的参数向量，ε 是误差向量。其中，^T 表示矩阵的转置，^(-1) 表示矩阵的逆运算。
2023-10-20 21:40:39
200
1
原创 循环神经网络高级篇笔记——B站：刘二大人《PyTorch深度学习实践》
我们之前一般首先把自然语言里的字或者词变成one-hot向量，但是由于one-hot向量维度太高比较稀疏，所以我们选择先让其经过一个嵌入层，将其转变为低维的、稠密的向量，隐层的输出不一定和我们要求的结果一致，所以后面会经过一个线性层使结果一致。先将Name做分离，然后做词典，由于都是英文字符，所以我们可以用ASCII作字典，这些序列长短不一，所以我们要加一个padding，找到最长字符串，将其他字符串添成和它一样长的，接下来是Country，我们只要做个索引标签就可以了。方法用于获取指定索引位置的样本。
2023-10-11 21:58:34
889
2
原创 循环神经网络基础篇笔记——B站：刘二大人《PyTorch深度学习实践》
然而，传统的RNN存在“梯度消失”和“梯度爆炸”的问题，即在训练过程中，随着时间步长的增加，梯度信息逐渐减小或者增大到不可控的程度。为了解决这个问题，研究者们提出了一些改进的RNN模型，如长短期记忆网络（Long Short-Term Memory，LSTM）和门控循环单元（Gated Recurrent Unit，GRU）等，这些模型对传统的RNN结构进行了修改，能够更好地捕捉长距离的依赖关系。具体来说，RNN单元接收当前时间步的输入和上一时间步的隐藏状态作为输入，并生成当前时间步的输出和新的隐藏状态。
2023-10-07 20:44:12
205
1
原创 卷积神经网络高级篇——刘二大人视频笔记
Inception module 中采用了多个不同尺寸的卷积核和池化操作，并且将它们串联在一起，以获取多尺度的特征表示。这种并行结构使得网络能够同时学习到不同尺度的特征，并且更好地捕捉图像中的细节和全局信息。Concatenate: 它指的是将两个或多个张量沿着某个维度(通道)进行连接，形成一个更大的张量Average Pooling : 它的作用是将输入特征图或特征向量划分为若干个区域，并对每个区域内的数值求平均，从而得到池化后的特征表示。
2023-09-22 17:02:10
125
原创 卷积神经网络基础篇笔记——B站：刘二大人《PyTorch深度学习实践》
2*2的maxpooling默认stride = 2，它将原input分成4个2*2的小块，从每个小块里面选取最大值放入output中，大小缩小一半。如果本来输入的是5*5,kernel是3*3，输出是3*3，如果想要输出不变也是5*5,由于kernel是3*3，那么就需要将input填充一圈0。3*5*5的input通过3*3*3的卷积获得1*3*3的output。输入有n个通道，卷积核就有n个通道，输出有m个通道，就有m个卷积核。print(output.shape)#3*3的卷积，图像大小减2。
2023-09-19 21:40:06
183
原创 Softmax-多分类问题笔记—B站：刘二大人《PyTorch深度学习实践》
Convert the PIL Image to Tensor,转变成图像张量，数据值0-1,normalize(均值，标准差),进行归一化处理，所有样本的均值和标准差的经验值，算好的。_,predicted = torch.max(outputs.data,dim=1)#找到每个样本预测的最大值索引，并将其赋值给 predicted。total += labels.size(0)#返回 labels 张量的第一个维度的大小，即当前批次中样本的数量。正确率越来越高，损失值越来越低。
2023-09-17 21:31:43
92
原创 加载数据集_B站：刘二大人kaggle Titanic作业
for i, data in enumerate(train_loader1,0): # 函数调用后会返回一个可迭代的对象，每个元素是一个二元组 (index, element)，其中 index 是元素在迭代对象中的索引，element 是迭代对象中的元素值。super(Model, self).__init__() # super函数来调用父类Module的构造函数,第一个参数是目前类的名称，第二个参数是self。def __len__(self): # 获取数据集里的数据条数。
2023-09-17 17:16:23
140
原创 加载数据集笔记—B站：刘二大人《PyTorch深度学习实践》
Dataset：Dataset（数据集）是用于训练、验证和测试模型的数据集合。Batch-Size：指在模型训练过程中每个批次中包含的样本数量。训练数据集将被分成多个批次，每个批次都会被用来更新模型的权重和偏置。epoch：是指将整个数据集完整地通过模型进行前向传播和反向传播的次数。简单来说，它表示模型训练中的一个完整循环。DataLoader：作用是可以拿到mini-batch，获取一组小一点的数据。#外层循环控制训练轮数，内层循环控制批次的迭代。此笔记参考B站刘二大人pytorch学习视频。
2023-09-17 17:07:28
78
原创 处理多维特征的输入笔记—B站：刘二大人《PyTorch深度学习实践》
链接: https://pan.baidu.com/s/1JId6U15Es_JmV0yTlxeSUg?pwd=rfbh 提取码: rfbh。输入维度为8，输出维度为1，一个样本8个特征即8维。此笔记参考B站刘二大人pytorch学习视频。
2023-09-13 18:10:06
71
原创 逻辑斯蒂回归笔记—B站：刘二大人《PyTorch深度学习实践》
提供流行的数据集，比如MNIST,The CIFAR-10 dataset,train表示要训练集还是测试集，download，如果需要从网上下载，就设置download为True。虽然逻辑斯蒂名字是回归，但其实它做的是分类的问题，例如一些手写数字1,2,3.....的图片将他们识别到1,2,3....的数字类别。y = 0表示class = 0的概率是1，1-y表示class = 1的概率是0。此笔记参考B站刘二大人pytorch学习视频。
2023-09-11 20:58:44
119
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人