模式识别学习笔记（6）——特征维数问题

最新推荐文章于 2024-08-15 21:12:13 发布

Carol__Deng

最新推荐文章于 2024-08-15 21:12:13 发布

阅读量1.3w

点赞数 1

分类专栏：学习笔记文章标签：特征维数模式识别

本文链接：https://blog.csdn.net/Carol__Deng/article/details/79059015

版权

本文探讨了特征维数过高在模式识别中引发的计算、存储和泛化能力问题，如过拟合。3D空间的可分性优于2D和1D，但增加特征可能导致模型性能下降。当样本数少于特征维度，协方差矩阵可能奇异，导致模型参数估计不准确。为解决这一问题，提出了特征降维和参数共享/平滑等方法。

摘要由CSDN通过智能技术生成

特征维数带来什么问题？

1、计算

2、存储

3、泛化能力，过拟合overfitting

分类错误率与特征

特征维数决定可分性

比如：3D空间完全可分，而2D和1D投影空间有重叠

但，增加特征也可能导致分类性能更差，因为有模型估计误差（wrong model）

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

Carol__Deng

关注关注

1
点赞
踩
11

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

ASR特征维度

FzuGsr的专栏

05-01

613

kaldi 特征维度 make_mfcc_pitch.sh 脚本产生的是mfcc+pitch的特征

特征，特征维度，特征深度

weixin_46516242的博客

03-08

5748

关于神经网络中的特征，特征维度，特征深度的一些问题

参与评论您还未登录，请先登录后发表或查看评论

数据结构初阶——算法复杂度超详解

最新发布

fhvyxyci的博客

08-15

1681

1.数据结构前言 1.1 数据结构 1.2 算法 2.算法效率 2.1 复杂度的概念 3. 时间复杂度 3.1 大O的渐进表示法 3.2 时间复杂度计算示例示例1 示例2 示例3 示例4 示例5 示例6 示例7 4. 空间复杂度 4.1 空间复杂度计算示例 4.1.1 示例1 4.1.2 示例2 5. 常见复杂度对比 6.复杂度算法题——[旋转数组](https://leetcode.cn/problems/rotate-array/description/) 思路1 思路2 思路3

推荐系统特征维度

公众号：瑞行AI

08-17

1235

特征维度计算

qq_40703341的博客

02-09

2884

特征维度计算@[TOC](特征维度计算) HOG颜色直方图https://blog.csdn.net/m0_38027013/article/details/90258805 Gabor欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants...

深度学习的特征与标签的维度（keras)

python__reported的博客

07-22

5495

@TOC) 一、结论 Dense层维度要与标签维度一致，根据需要的一致；[1,2,3]对应0与[1,2,3]对应[5,6,8]即可。如文本分类，则标签不需要one-hot,dense层不需要TimeDistributed 因为文本分类 train_x(16656, 22) ，使得22个字的评论与标签0或者1,进行匹配，所以标签不需要one-hot,dense层不需要TimeDistributed 如中文分词，需要字与标签一一对应，标签one-hot，使得标签升维；TimeDistributed使得x与y维

（模式识别）特征降维问题

zwj256920的博客

05-31

1601

（模式识别）特征降维问题降维的必要性多重共线性--预测变量之间相互关联。多重共线性会导致解空间的不稳定，从而可能导致结果的不连贯。高维空间本身具有稀疏性。一维正态分布有68%的值落于正负标准差之间，而在十维空间只有0.02%。过多的变量会妨碍查找规律的建立。仅在变量层面上分析可能会忽略变量之间的潜在联系。降维的目的：减少预测变量的个数确保这些变量是相互独立的提供一个框架来解释结果降维的方法主要有：...

模式识别学习笔记——贝叶斯决策

V.O.N的学习记录

10-13

1390

一.符号定义

模式识别学习笔记——判别函数和高斯分布

V.O.N的学习记录

10-14

1086

模式识别学习笔记——第2章统计学习方法-2.2最小错误率贝叶斯决策

HS_Jack_ZZZ的博客

07-29

2873

可以看到，左边的黄线代表的是在晴天条件下降雨概率的分布；这两条线分表代表的含义仅仅是，在不同天气条件下降雨量的关系。表示观察到的状态为阴天。我们通过过往的天气预报可以统计在一年内，晴天的降雨量和阴天的降雨量，再经过计算得到它们的概率。特征下是晴天的概率，反之则是阴天的概率。最小风险决策的分界线是途中的蓝色虚线。为了更加直观的理解这一过程，用实例和图像来解释这一过程。从最小错误率出发，利用概率论中的贝叶斯公式，得出使错误率最小的分类决策。中但属于晴天的概率就是错误的概率。的维度为1，即将特征写成标量的形式。.

模式识别学习笔记——第2章—2.4 两类错误率、Neyman-Pearson决策与ROC曲线

HS_Jack_ZZZ的博客

08-01

2295

举个医院的例子癌症早期不易被检查出来，但却是治疗癌症的最佳时期，因此应要求尽量把所有的阳性检测出来，所以应确保真阳性率尽可能高，即灵敏度达到99.9%（第二类错误率、假阴性率为0.1%），在次前提下再追求误将把无病诊断为有病的概率，即第一类错误率低、真阴性率（特异度）高。这里，真阳性（TruePositive，简记TP，后同）和真阴性是正确的分类，错误分类则是假阳性和假阴性两种情况。相应的就只有两种错误率分别是假阳性率（假阳性样本占总阳性样本的比例）、假阴性样本（假阴性样本占总阴性样本的比例）.......

python降维中特征维度的问题

nofaliure的博客

11-01

234

python中特征的维度问题

机器学习之特征向量维度与样本空间

向上吧贺凯

10-24

8830

样本空间：以样本的属性为坐标轴张成的多维空间，也叫属性空间，输入空间。实际问题中，样本的属性就是样本的特征向量，所以样本的特征向量维度越高，张成的样本空间就越大，如果样本的特征向量是二维的（x, y）,则样本空间是是一个二维空间，即一个平面，如果特征向量是三维的（x, y, z）,张成的样本空间就是三维空间，我们现实世界中的每一个物体的坐标就可以用三维的特征向量来描述。当然这两...

机器学习中的维度

刘金超DT的博客

09-13

1377

维度是什么？ “维度”这个词在机器学习里面，应该是一个高频词，它经常出现在人们的视野中，比如说随机森林是通过随机抽取特征来建树，以避免高维计算；再比如说，sklearn中导入特征矩阵，必须是至少二维；特征选择的目的是通过降维来降低算法的计算成本等等。那么“维度”到底是什么呢？对于数组和series来说对于数组和Series来说，维度就是功能shape返回的结果，shape中返回了几个数字，就是...

你知道机器学习中的维灾难吗？——一个有趣的猫狗分类案例帮你理解

汪雯琦的博客

02-26

914

维灾难 1.什么是维灾难特征数量比较少的时候，越多特征，分类器性能越好到达某点之后，分类器性能逐渐下降随着维度的增加，分类器性能逐步上升，到达某点之后，其性能便逐渐下降有一系列的图片，每张图片的内容可能是猫也可能是狗；我们需要构造一个分类器能够对猫、狗自动的分类。首先，要寻找到一些能够描述猫和狗的特征，这样我们的分类算法就可以利用这些特征去识别物体。猫和狗的皮毛颜色可能是一个很好的特征，...

特征工程总结

lrt366的博客

06-17

1813

转自：http://tech.dianwoda.com/2018/04/23/te-zheng-gong-cheng/ 背景在之前学习机器学习技术中，很少关注特征工程(Feature Engineering)，而且机器学习的书中基本上是已经处理好的数据或者作者自己构造的虚拟的数据。所以在机器学习的实践中，可能会选择使用这些算法，但是常常不知道怎么提取特征来建模。因此，结合网上的资料和项目中的经验试着来总结一下。特征是什么特征是对于分析和解决问题有用、有意义的属性。例如：在表格数据中，表.

一文搞定注意力机制（Attention）

markconca的博客

10-24

6881

注意力机制是指人类的神经系统在面对复杂的感知信息时，通过选择性的关注和集中注意力来处理特定的刺激。注意力机制可以帮助我们过滤掉不相关或无用的信息，并专注于重要的刺激、任务或目标。这种机制可以通过自主调控或受到外界环境的影响而发生变化。例如，注意力可以集中于一个特定的刺激或任务，也可以在多个刺激之间进行转移和分配。注意力机制在认知过程中起着重要的作用，影响感知、思维、决策和行为等方面的表现。基于注意力机制的深度学习，核心在于让机器学会去感知数据中的重要和不重要的部分。

特征选择与降维：提高模型性能与解释性

程序员光剑

03-03

1. 背景介绍 1.1 为什么需要特征选择与降维在现实生活中，我们经常会遇到大量的数据，这些数据可能包含了许多特征。然而，并非所有特征都对我们的模型有用，有些特征可能是冗余的，有些特征可能是无关的。因此，我们需要从原始数据中筛选出对模型有用的特征，以提高模型的性能和解释性。这就是特征选择与

聚类算法学习笔记（一）——基础

06-11

好的，让我来回答你关于聚类算法的问题。聚类算法是一种无监督学习方法，它将数据集中的对象分成若干组或者类，使得同一组内的对象之间相似度较高，而不同组之间的相似度较低。聚类算法广泛应用于数据挖掘、模式识别、图像处理、自然语言处理等领域中。常见的聚类算法有K-Means、层次聚类、DBSCAN等。其中，K-Means算法是最常用的聚类算法之一。 K-Means算法的基本思想是：首先随机选取K个中心点（质心），然后将每个样本点归属于距离其最近的中心点所在的簇，接着重新计算每个簇的中心点，重复上述过程直到簇不再发生变化或达到预设的迭代次数。层次聚类算法是一种基于距离的聚类算法，它将样本点视为一棵树，从下往上逐步合并相似的簇，最终形成一棵树形结构。层次聚类算法可分为自底向上的凝聚聚类和自顶向下的分裂聚类两种。自底向上的凝聚聚类从每个样本点开始，逐步合并相似的簇，最终形成一棵树形结构；自顶向下的分裂聚类从所有样本点开始，逐步将簇分裂成较小的簇，最终形成一棵树形结构。 DBSCAN算法是一种基于密度的聚类算法，它将样本点分为核心点、边界点和噪音点三类，核心点周围的样本点被划分为同一个簇，边界点则被划分到离其最近的核心点所在的簇中，而噪音点则被剔除。DBSCAN算法具有不需要预先指定聚类数、对噪音点不敏感等优点，但对于不同密度的簇，其聚类效果可能不尽如人意。以上是聚类算法的基础知识，希望能够对你有所帮助。