![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 50
湘溶溶
这个作者很懒,什么都没留下…
展开
-
深度学习学习日记4.17
1.数据加载与预处理: 通过自定义 Dataset 类,可以灵活地组织和加载各种类型的数据,例如图像、文本、时间序列等。你可以在getitem方法中实现数据的加载和预处理逻辑,例如图像的缩放、裁剪、标准化,文本的分词和编码,以及其他任何预处理步骤。2.数据集定制:自定义 Dataset 类允许你根据具体任务和数据集的特点进行定制。可以根据需求定义不同的 Dataset 类,处理不同格式的数据或应用特定的数据增强技术,以满足模型训练的需要。3.与 DataLoader 结合使用。原创 2024-04-17 11:30:01 · 692 阅读 · 0 评论 -
深度学习学习日记4.15 (面向GPT学习)
分割预测图像的理解在计算损失时,使用 len(trainloader.dataset) 的目的是为了得到整个训练集的样本数量,从而计算出平均损失(average loss)。这是因为损失值通常是单个样本的损失之和,然后再除以样本数量来得到平均损失。在计算 epoch 中的准确率(epoch_acc)时,使用 total(total 是一个累加变量,用于记录已经处理过的样本数量。) 是更加准确的做法,因为它记录了实际处理过的样本数量,而不是简单地依赖于数据集的总样本数。原创 2024-04-15 11:49:06 · 883 阅读 · 0 评论 -
深度学习学习日记4.14 数据增强 Unet网络部分
transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]):这个操作用于对。它对张量的每个通道进行归一化处理,使得每个通道的均值为 0.485、0.456、0.406,标准差为 0.229、0.224、0.225。nn.sequential序列中写 卷积(输入是输出的2倍(有contact操作))relu ,卷积,relu。nn.sequential序列 中写 卷积,relu(inplce=True节省计算资源),卷积,Relu。原创 2024-04-14 21:26:38 · 577 阅读 · 1 评论 -
深度学习学习日记4.13 灰度图 自定义dataset类 dataloader
虽然灰度图像只有一个通道,但有时候图像数组的形状可能是 (height, width, 1),其中的额外的单通道可能会引起一些问题或不便。这个函数按照索引获取数据集中的样本,并根据需要对样本进行预处理、转换等操作,并返回处理后得样本。num_workers:加载数据时采用单个进程还是多个进程,多进程的话速度相对较快,默认为0(主进程加载)。drop_last:100张牌每次取3张,最后会余下1张,这时剩下的这张牌是舍去还是不舍去。①__init__() 初始化函数,用于设置数据集的基本属性和参数。原创 2024-04-13 16:38:41 · 621 阅读 · 0 评论 -
深度学习学习日记4.8(下午)
1.softmax 函数的得出的结果是样本被预测到每个类别的概率,所有类别的概率相加总和等于1。单个样本的预测值与真实值的差称为损失。用于计算损失的函数称为损失函数。损失函数是非负实值函数。4️⃣应用需求:对于异常值敏感的任务,使用 Huber Loss 等鲁棒损失函数。1️⃣任务类型:分类任务使用交叉熵损失函数,回归任务使用均方误差MSE损失函数。3️⃣模型特点:需要保证稀疏性的模型,使用L1正则化。如何定义合理的损失函数?2.熵,不确定性,越低越好。5️⃣需要注意的:反复测试。预测越准,交叉熵越小,原创 2024-04-08 16:32:59 · 227 阅读 · 0 评论 -
深度学习学习日记4.8(上午)信息量,熵,交叉熵,相对熵,交叉熵损失函数
小概率事件有较大的信息量,大概率事件有较小的信息量。当预测结果越接近真实值,损失函数的值越接近于0。熵是概率分布的信息量期望。原创 2024-04-08 11:29:41 · 343 阅读 · 0 评论 -
Vit代码
Vit将纯transformer结构引入到CV的基本任务——图像分类中。原创 2024-04-01 14:05:37 · 563 阅读 · 2 评论 -
深度学习网络缝合模块学习
模块和模块之间还可以,进行串行,并行等的连接,模块之间可以有很多组合方式。4在init中进行实例化,注意通道数是上一步forward的通道数。模块和模块之前也可用通过以上方式进行模块间的融合。5在forward中加载init中的实例化。3在forward中查看通道数是多少。6模型实例化测试模块是否加入。1缝合模块只看通道数。2把模块复制到模型中。原创 2024-03-29 14:13:46 · 1057 阅读 · 1 评论 -
transform——迪哥
transformer在CV中:将图像数据转换为序列,就直接可以在transformer中进行套用计算机视觉解决的问题是:如何在原始数据中进行特征提取 ,如何将特征提取的更好,trasnformer相比CNN可以更好的实现VIT 在视觉任务中做transformer。原创 2024-03-25 17:18:02 · 1022 阅读 · 0 评论 -
图像分割随记
【代码】图像分割随记。原创 2024-03-11 10:04:13 · 170 阅读 · 0 评论 -
深度学习18
inplace是否对原来的位置进行替换,等于false可以防止数据的丢失。最大池化保留了图片信息,神经网络训练的数据量大大减小,可以加快训练。创建实例,使用tensorboard进行显示。非线性激活为神经网络加入了一些非线性的特质。sequential使得代码更加简洁。以上是搭建网络的过程,接着创建网络。使用tensorboard查看。尺寸不变padding=2。flatten将图片展平。原创 2023-11-27 11:31:01 · 268 阅读 · 0 评论 -
深度学习(小土堆)
drop_last 当取数据有余数时,是舍去还是保留。出现以上问题,需要将numberworks设置为0。将该数据的数据显示在tensorboard中。加载数据集,查看数据集的属性。将图片转换成tensor类型。原创 2023-11-24 11:39:35 · 339 阅读 · 0 评论 -
深度学习(小土堆)
Image’ 是用于标识图像数据的名称,image_tensor 是添加的图像数据,global_step 是可选参数,用于指定写入的步骤数。需要注意的是,transforms.Resize 操作对于大多数图像分类任务来说都是必需的,因为它可以使所有输入图像都具有相同的尺寸,从而便于将它们传递到深度学习模型中进行训练和推理。在 PyTorch 的 transforms 模块中,我们可以首先创建数据预处理方法的实例,然后将这些实例作为函数来使用,传递需要预处理的数据作为参数。原创 2023-11-21 17:13:14 · 156 阅读 · 0 评论 -
深度学习(小土堆)
进行上一步需要在pycharm中设置当打开Terminal终端时,自动进入虚拟环境。transform主要对图片进行一些变换。,主要方便后面访问属性或者方法。将图像的数据类型转为numpy。防止与别人冲突可以修改端口号。self代表当前类的实例,原创 2023-11-20 16:42:15 · 100 阅读 · 0 评论 -
pytorch深度学习快速入门
显示图片。原创 2023-11-15 11:19:42 · 126 阅读 · 0 评论 -
pytorch(小土堆)深度学习
Dataset提供一种方式区获取数据及其label(如何获取每一个数据及其label,告诉我们总共有多少的数据)Dataloader为后面的网络提供不同的数据形式。第六节:Dataset,Dataloader。指定文件路径,把文件路径存在一个列表里面。第七节:Dataset类代码实战。第五节课讲项目的创建和对比。原创 2023-11-08 10:57:23 · 368 阅读 · 0 评论 -
动手学深度学习——第七次学
卷积把高宽不断变小,把通道数逐渐增多,(最后高宽会变成,通道会变得很大,然后做全连接进行输出)通道信息可以看成是空间的模式,抽出来压缩的信息放到不同的通道里面,所有模式拿出来,通过多层感知机输出。LeNet(LeNet-5)由两个部分组成: 卷积编码器和全连接层密集块。原创 2023-10-30 15:32:15 · 70 阅读 · 0 评论 -
动手学深度学习——第六次
m.weight.data*= m.weight.data.abs()>=5 将权重数据中绝对值大于等于5的部分保留下来,而小于5的部分置为0。m.weight.data是变量m的权重数据,m.weight.data.abs()是m.weight.data的绝对值。条件表达式m.weight.data.abs()>=5会返回一个布尔值的张量,表示m.weight.data的绝对值是否大于等于5。步幅是每次滑动和核窗口时行的步长,可以成倍的减少输出的形状。填充和步幅是卷积层的超参数。不同网络之间权重共享。原创 2023-10-30 11:39:24 · 180 阅读 · 0 评论 -
动手学深度学习——第五次学
12权重衰退(解决过拟合) 13丢弃法(解决过拟合) 14数值稳定(梯度爆炸和梯度消失问题) 15竞赛题讲解。权重衰减是最广泛使用的正则化的技术之一。多层感知机原创 2023-10-24 17:14:17 · 74 阅读 · 0 评论 -
动手学深度学习——第四次
最小化loss,只需要将参数沿着梯度相反的方向前进一个步长,就可以实现目标函数(loss function)的下降。这个步长 η \etaη 又称为学习速率。梯度下降是在机器学习中用于寻找最佳结果(即曲线最小值)的一种迭代优化算法。原创 2023-10-23 15:49:24 · 60 阅读 · 0 评论 -
动手学深度学习——第三次
原创 2023-10-23 11:32:17 · 40 阅读 · 0 评论 -
动手学深度学习【李沐老师】第二次学
线性模型原创 2023-10-22 17:08:40 · 41 阅读 · 0 评论 -
动手学深度学习【李沐老师】第一次学
课程主页:https://courses.d2l.ai/zh-v2/原创 2023-10-20 11:12:53 · 90 阅读 · 0 评论 -
零基础机器学习——数学基础知识
机器学习中数学基础,函数,张量,张量运算原创 2023-09-15 16:39:32 · 127 阅读 · 0 评论 -
零基础学机器学习1.5
机器学习中问题,机器学习基础实战,机器学习流程原创 2023-09-13 11:08:18 · 44 阅读 · 0 评论 -
tensorflow、keras安装
tensorflow keras 安装原创 2023-09-12 17:18:11 · 89 阅读 · 0 评论 -
零基础机器学习
吴恩达老师的coursera网站上有众多的大规模开放在线课程(massive open online course,mooc)中有免费课程。机器学习的关键内涵之一在于利用计算机的运算能力从大量的数据中发现一个函数或者模型,并通过它来模拟现实事物间的关系,从而实现预测或判断的功能。原创 2023-09-04 18:29:10 · 33 阅读 · 0 评论 -
零基础机器学习1.21.31.4
零基础机器学习加州地区房价中位数原创 2023-09-12 16:01:43 · 37 阅读 · 0 评论