机器学习学习笔记整理
魔法橘子
这个作者很懒,什么都没留下…
展开
-
机器学习常见名词解释
过拟合:个人理解,训练集中有公共特点a和私有特点b,我只要学会处理a就可以处理这类问题了,但是我错误的把b也给学会了,学多了,导致处理训练集的时候拟合的很好,但是处理这一类问题的时候表现不佳。特征预处理包含:数值型特征无量纲化,数值型特征分箱,统计变换,类别特征编码。模型融合:同时训练多个模型,用一定办法将其融合在一起。特征筛选:可以得到一个排名,确定每个属性的重要程度。数据预处理包含:数据探索,数据清洗,特征预处理。支持向量机:监督学习的二元分类的分类器?测试集:期末考试:测试成功。原创 2023-09-07 21:41:04 · 98 阅读 · 0 评论 -
机器学习处理问题的基本路线
基本路线:1.搭建环境/数据读入2.数据分析3.特征工程4.建模调参5.模型融合。原创 2023-09-07 21:42:36 · 756 阅读 · 1 评论 -
U-net网络学习记录
比较直接的回答是降采样的理论意义:它可以增加对输入图像的一些小扰动的鲁棒性,比如图像平移,旋转等,减少过拟合的风险,降低运算量,和增加感受野的大小。升采样的最大的作用其实就是把抽象的特征再还原解码到原图的尺寸,最终得到分割结果。输入是一幅图,输出是目标的分割结果。继续简化就是,一幅图,编码,或者说降采样,然后解码,也就是升采样,然后输出一个分割结果。根据结果和真实分割的差异,反向传播来训练这个分割网络。既然输入和输出都是相同大小的图,为什么要折腾去降采样一下再升采样呢?本质上是一个用于图像分割的神经网络。原创 2023-09-07 21:45:25 · 333 阅读 · 0 评论 -
常见注意力机制
告诉网络自适应的更加关注通道的高语义特征,例如点特征,线特征,面特征,明暗特征,对我们来讲,只要涉及到卷积操作,就可以插入注意力机制试一试效果。,告诉网络更加关注物体在空间中所处于的一个。是一个 简单而有效的 注意力模块;,可以 无缝集成到任何。18年提出的一种新的。原创 2023-09-07 21:52:02 · 590 阅读 · 0 评论 -
知识蒸馏学习
---教师和学生模型:将已训练完善的模型作为教师模型,通过控制“温度”从模型的输出结果中“蒸馏”出“知识”用于学生模型的训练,并希望轻量级的学生模型能够学到教师模型的“知识”,达到和教师模型相同的表现。由于使用现有的已经训练好的模型模型,将其中蕴含的信息用于指导新的训练阶段,避免了重新学习耗费的时间。:老师模型没有预训练,准备和学生模型一同进行训练,在一同训练的过程中来指导学生模型进行学习,完成知识蒸馏。:老师模型和学生模型是一个模型,也就是一个模型来指导自己进行学习,完成知识蒸馏。原创 2023-09-07 22:00:45 · 384 阅读 · 0 评论 -
改进深度学习网络的几个思路
通过SPP,我们就把一张任意大小的图片转换成了一个固定大小的21维特征(当然你可以设计其它维数的输出,增加金字塔的层数,或者改变划分网格的大小)。当我们有很多层网络的时候,当网络输入的是一张任意大小的图片,这个时候我们可以一直进行卷积、池化,直到网络的倒数几层的时候,也就是我们即将与全连接层连接的时候,就要使用金字塔池化,使得任意大小的特征图都能够转换成固定大小的特征向量,这就是空间金字塔池化的奥义(多尺度特征提取出固定大小的特征向量)。黑色的图3,把整张图片作为了一个块,也就是块的大小为(w,h)原创 2023-09-07 21:56:43 · 559 阅读 · 0 评论 -
CNN+Transformer
Transformer本用于自然语言识别领域(NLP)但近些年来越来越多的学者将Transformer的理念应用到图像识别领域并取得了当年的SOTA原创 2023-09-07 22:10:41 · 273 阅读 · 0 评论 -
关于迁移学习的一点理解
内容:利用在 ImageNet1000 数据集训练好的模型,将所需的模型参数下载,嵌入到对应的网络架构中,使用对预训练模型的搭建。目前Pytorch框架中可以下载多种模型,包括 ResNet、ResNeXt、Xception、MobileNetV2等。3.1 内容:将两个领域的数据映射到同一个域不变特征的空间,然后进行分布对齐,以解决域分布不一致的问题。2.2 冻结:保证模型前几层参数(梯度系数、权重、偏置等参数不发生变化)、主要是加快模型的训练速度,也可以增加准确率的效果。原创 2023-09-07 22:08:47 · 491 阅读 · 0 评论