深度学习
文章平均质量分 77
Top Secret
忙着毕业,暂不回复。
展开
-
深度学习15—(迁移学习)冻结和解冻神经网络模型的参数
这两个函数对于模型微调(fine-tuning)和迁移学习(transfer learning)等场景非常有用。例如,在迁移学习中,你可能希望冻结预训练模型的一部分参数,只更新模型的最后几层以适应新任务。通过这两个函数,可以方便地控制模型参数的梯度计算状态。这段代码定义了两个函数:`freeze_net` 和 `unfreeze_net`,这两个函数的目的是分别冻结和解冻一个神经网络模型的参数,控制是否对模型参数进行梯度计算。原创 2024-01-07 14:42:01 · 1398 阅读 · 0 评论 -
深度学习14—注意力机制与自注意力机制
注:以下均为个人学习笔记,发布只为方便学习阅读,若觉侵权,请联系删除!! 通过注意力池化层来有偏向性的选择某些输入。 理解:Q(query)即为随意线索,可以通过对值V(value)做重要性加权得到。在这里,值V(value)和不随意线索K(key)是一个对。(对应关系)。原创 2023-12-18 15:58:10 · 492 阅读 · 0 评论 -
深度学习12—VGG19实现
state_dict = load_state_dict_from_url(model_urls['vgg19'],model_dir='./model' ,progress=progress)#预训练模型地址。accuracy=((out.argmax(1)==label).sum()).clone().detach().cpu().numpy()#正确预测的总和比测试集的长度,即预测正确的精度。image=torch.reshape(image,(1,3,224,224))#四维图形,RGB三个通。原创 2023-05-29 23:01:24 · 1572 阅读 · 0 评论 -
深度学习01—偏差、方差分解
如下笔记学习于李沐老师公开课:原创 2023-04-14 16:51:26 · 79 阅读 · 0 评论 -
深度学习10—卷积神经网络
目录1.全连接网络复习 2.卷积 2.1 卷积核编辑 2.2 卷积层的基本实现 2.3 padding填充 2.4 stride步长 2.5 池化层 3. CNN实例3.1 完整代码:3.1.1 cpu训练3.1.2 GPU上训练4. 卷积神经网络进阶 4.1 GoogLeNet4.2 inception Module4.2.1 1*1卷积及其作用 4.2.2 implemetaion of inception Module编辑4.2.3 Inception Module 以及模型构建的实现代码 完原创 2022-10-01 21:10:53 · 6346 阅读 · 4 评论 -
深度学习09—多分类问题(手写数字识别实战torch版)
(2)torchvision.datasets:提供常用的数据集,设计上继承 torch.utils.data.Dataset,主要包括:MNIST、CIFAR10/100、ImageNet、COCO等。这个package包含数据读取预处理的一些类,其中两个最常用的类:class torch.utils.data.Dataset 和 class torch.utils.data.DataLoader。(2) torch.nn.functional中包含的是实现好的函数,直接通过接口调用。原创 2022-09-30 17:25:15 · 1500 阅读 · 0 评论 -
深度学习08—加载数据集(实战向)(以糖尿病数据集为例)
参考文章地址参考文章地址2简介:在使用Pytorch构建和训练模型的过程中,经常需要把原始数据(图片、文本等)转换为张量的格式。对于小数据集,我们可以手动导入,但是在深度学习中,数据集往往是比较大的,这时pytorch的数据导入功能便发挥了作用,Pytorch导入数据主要依靠 torch.utils.data.DataLoader和 torch.utils.data.Dataset这两个类来完成。pytorch提供了一个数据读取。原创 2022-09-29 16:51:33 · 2885 阅读 · 0 评论 -
深度学习07—处理多维特征的输入(神经网络层的构建原理-糖尿病数据的分类案例)
链接:https://pan.baidu.com/s/1UKLJpSkZ3dsxh-FcTPJaoQ。原创 2022-09-28 22:42:14 · 1307 阅读 · 0 评论 -
深度学习06—逻辑斯蒂回归(torch实现)
结合下文辅助学习:传送门 torch.sigmoid():这是一个方法,包含了参数和返回值。torch.nn.Sigmoid():可以看到,这个是一个类。在定义模型的初始化方法中使用,需要在_init__中定义,然后在使用。 torch.nn.functional.sigmoid():这其实是一个方法,可以直接在正向传播中使用,而不需要初始化。**在训练模型的过程中,也可以使用。**例如: 这三个sigmoid()实现的功能是一样的,没有区别。 结果: 2.5.2 BCE原创 2022-09-23 11:22:48 · 2076 阅读 · 0 评论 -
深度学习05——线性回归模型
传送门#写入数据集# 线性回归模型#计算损失函数(MSE均方误差)# 穷举法更新参数ww_list = [] #用于存放更新的参数wl_sum = 0 # 初始化,用于计算损失和l_sum += loss_val # 计算损失和print('MSE=', l_sum / 3) #求均方误差w_list.append(w) #将每一步更新的参数w存入列表w_list中,以便在后面可视化中绘制跟踪曲线。原创 2022-09-22 17:55:26 · 3532 阅读 · 2 评论 -
深度学习04—反向传播算法(用于参数更新、troch实现)
(1)反向传播:该方法主要是应用链式法则的方法,求loss关于w和b的导数;(2)关于如下步骤中,l.backward()会将前向的各部梯度存入,而红色的两个代码会形成“计算图”;(3)其中:w是Tensor(张量类型),Tensor中包含data和grad,data和grad也是Tensor。grad初始为None,调用l.backward()方法后w.grad为Tensor,故更新w.data时需使用w.grad.data。原创 2022-09-18 21:34:35 · 4931 阅读 · 1 评论 -
深度学习02—梯度下降算法(预测,含代码)
为元素的列表,其中第 i 个元组包含每个参数序列的第 i 个元素。返回的列表长度被截断为最短的参数序列的长度。只有一个序列参数时,它返回一个1元组的列表。3、本算法中的随机梯度主要是指,每次拿一个训练数据来训练,然后更新梯度参数。cost是计算所有训练数据的损失,loss是计算一个训练函数的损失。分析:此处代码的不同点在于第一个模型y=w*x只需要更新参数w,而模型y=w*x+b需要更新权重w和偏置b;2、梯度函数gradient()由计算所有训练数据的梯度更改为计算一个训练数据的梯度。原创 2022-06-16 17:38:44 · 2362 阅读 · 2 评论 -
tensorflow(00)——CPU版与GPU版安装教程
习惯使用PyCharm来开发,而 Anaconda 集成了python开发环境,因此我们可以修改Project的python编译环境,从而更方便使用tensorflow框架。File-Setting–Project Interpreter选择tensorflow下的Python解释器。最后 完美的安装了最新的tensorflow 2.4.1 cpu版本。等需要使用GPU版的tensorflow再继续安装把。利用下面的命令安装,强制安装CPU版本。...原创 2022-08-31 15:28:21 · 2866 阅读 · 0 评论 -
tensorflow(07)——前项传播实战
目录1. 计算各参数的梯度,要把前项运算的过程代码放入到"with tf.GradientTape() as tape:"中 2.要计算w,b的梯度,在定义w,b参数时,需用tf.Variable封装3.计算梯度4. 完整代码:5.张量测试5.1 载入了测试数据5.2 训练代码: 3.计算梯度 (x, y), (x_test, y_test) = datasets.mnist.load_data()5.2 训练代码:完整代码:原创 2022-08-21 17:22:54 · 442 阅读 · 1 评论 -
tensorflow(06)——数据集加载
fashion_mnist:Fashion-MNIST 数据集.boston_housing:波斯顿房屋价格回归数据集。cifar100:CIFAR100小图像分类数据集。cifar10:CIFAR10小图像分类数据集。mnist:MNIST手写数字数据集。reuters:路透社主题分类数据集。imdb:IMDB 分类数据集。原创 2022-08-20 21:38:43 · 1372 阅读 · 0 评论 -
tensorflow(05)——损失函数
tf.keras.losses实例是用来计算真实标签( y_true )和预测标签之间( y_pred )的loss损失(均方误差值)。原创 2022-08-19 22:06:06 · 221 阅读 · 0 评论 -
tensorflow(04)——one.hot()函数
若输入的元素值超出范围,输出的编码均为 [0, 0 …tf.one_hot()函数是将input转化为one-hot类型数据输出,相当于将多个数值联合放在一起作为多个相同类型的向量,可用于表示各自的概率分布,通常用于分类任务中作为最后的FC层的输出,有时翻译成“独热”编码。由于one-hot类型数据长度为depth位,其中只用一位数字表示原输入数据,这里的on_value就是这个数字,默认值为1,one-hot数据的其他位用off_value表示,默认值为0。depth表示输出的尺寸。原创 2022-08-19 19:26:26 · 553 阅读 · 0 评论 -
Tensorflow(03)——keras和tensorflow的关系
Keras是基于TensorFlow和Theano(由加拿大蒙特利尔大学开发的机器学习框架)的深度学习库,是由纯python编写而成的高层神经网络API,也仅支持python开发。TensorFlow和theano以及Keras都是深度学习框架,tensorflow是Google开源的基于数据流图的机器学习框架,支持python和c++程序开发语言。下图为其数据流动示意图。Keras已经被TensorFlow收录,添加到TensorFlow 中,成为其默认的框架,成为TensorFlow官方的高级API。.原创 2022-08-16 23:13:29 · 547 阅读 · 0 评论 -
Tensorflow(01)——基础操作
代码】Tensorflow基础操作。原创 2022-08-01 22:06:41 · 729 阅读 · 0 评论 -
Tensorflow(02)——dataset与sequential
从内存生成,适合不大的数据集。# 传入list,将list中元素逐个转换为Tensor对象然后依次放入Dataset中# 传入tuple。这种形式适合整合特征和标签。原创 2022-08-15 22:42:49 · 592 阅读 · 0 评论 -
深度学习03—手写数字识别实例(Tensorflow版实验)
(以图片中的二分类问题为例)原创 2022-08-15 22:42:07 · 5106 阅读 · 9 评论