K-F数据降维模型

最新推荐文章于 2024-07-12 21:43:09 发布
最新推荐文章于 2024-07-12 21:43:09 发布
阅读量340 收藏
点赞数 3
分类专栏： 数模 文章标签： 数学建模 概率论
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Gin_loves_math/article/details/120785907
版权

Kolmogorov Filter数据降维模型

Kolmogorov Filter方法[1]（下面称K-f法）是基于Kolmogorov-Smirnov检验而提出。K-f法重点关注了两种条件下的分布函数存在较大差距的预测变量，这些变量的值对Y值的选取有较大的决定作用，故作为重要变量。
K-f方法是对二值响应变量的预测变量的筛选方法，且其预测变量的类型不做限制。具体步骤如下：
首先定义与分别是给定或条件下的分布函数（条件积累概率函数）
其次定义Kolmogorov系数为两分布函数差的上界的估计值分别是和的矩估计。
最后对所有预测变量的统计量进行降序排列，筛选较大的m个预测变量作为重要变量。

Gin_loves_math
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
卡尔曼滤波（Kalman Filter）原理理解和测试
一只小蜗牛 爬呀爬
01-18 5万+
Kalman Filter学原理学习 1. Kalman Filter 历史 Kalman滤波器的历史，最早要追溯到17世纪，Roger Cotes开始研究最小均方问题。但由于缺少实际案例的支撑（那个时候哪来那么多雷达啊啥的这些信号啊），Cotes的研究让人看着显得很模糊，因此在估计理论的发展中影响很小。17世纪中叶，最小均方估计（Least squares Estimation）理
编程作业2-分类+PCA降维1
08-03
交叉验证是一种评估模型性能的方法，它将数据集分为k个子集，每次用k-1个子集训练模型，剩下的一个子集用于测试，重复k次，确保每个子集都作为测试集一次。通过多次训练和测试，可以更准确地估计模型的泛化能力，...
Kolmogorov复杂度(转)
teresa_zp的专栏
06-08 2801
转自：http://blog.163.com/bit_runner/blog/static/5324221820101120115718334/ Kolmogorov复杂度和哥德尔定理的信息理论版本 - Chaitin定理及其数学证明  定义一：若对于给定的字符串s, 输出该字符串的二进制程序的最短代码长度为K(s)，就称K(s)为字符串s的Kolmogorov复杂度。将输出s的由一串二进制代
SPSS——非参数检验——1-Sample K-S 单个样本（Kolmogorov-Smirnov）柯尔莫哥洛夫-斯米诺夫检验
会编程的大白熊
09-05 4万+
简介K-S检验是以两位苏联数学家Kolmogorov和Smirnov的名字命名的,它是一个拟合优度检验，研究样本观察值的分布和设定的理论分布是否吻合，通过对两个分布差异的分析确定是否有理由认为样本的观察结果来自所假定的理论分布总体原理与方法K-S检验的基本思路是：先将顺序分类资料数据的理论累积频率分布与观测的经验累积频率分布加以比较，求出它们最大的偏离值，然后在给定的显著性水平上检验这种偏离值是否是
卡尔曼滤波和Wiener-Kolmogorov 滤波的相对优点
cc电子世界
12-26 1249
1.用模拟电子元件实现的Wiener-Kolmogorov 滤波器与（数字）卡尔曼滤波器哦相比，能够以更高更有效的吞吐率工作； 2.卡尔曼滤波器能够以算法的形式用数字计算机实现，这种实现可能更慢，但他能够达到的精度比模拟滤波器更高； 3.Wiener-Kolmogorov 滤波器不需要信号和噪声的有限维随机过程模型； 4.卡尔曼滤波器不要求确定性动态模型，也不要求随机过程具有平稳特性，许多重要应用都包括非平稳随机过程； 5.卡尔曼滤波器能够与动态系统的最优控制器的状态空间公式兼容，并且能够证明这些系
Kalman滤波器从原理到实现
热门推荐
xiahouzuoxin
09-26 14万+
目录包括：Kalman滤波器的历史渊源、从牛顿到卡尔曼、一场递推的游戏、均方误差中的门道、Matlab程序看过来、Kalman滤波C程序、参考资料
57. 四大数据降维方法详解 - lucky - CSDN博客1
08-04
PCA的结果是将原始数据降维到k维，其中k是选择的主成分数量。PCA虽能有效压缩数据，但它并不考虑数据的分类信息，可能会导致分类性能下降。 相比之下，LDA（线性判别分析）是一种有监督的降维方法，特别适用于分类...
k-nearest-neighbors:k-近邻分类算法在MNIST数字数据集上的实现
05-29
5. 使用训练数据拟合模型。 6. 对测试数据进行预测。 7. 计算预测准确率，评估模型性能。 代码示例： ```python from sklearn.datasets import fetch_openml from sklearn.model_selection import train_test_...
Python数据分析-自测试卷5.docx
06-12
1. RFM模型是一个衡量客户价值的分析模型，通过对客户最近一次消费时间（R）、消费频率（F）和消费金额（M）的分析，帮助企业识别客户的行为模式，从而进行客户分类、营销策略制定和客户保留。 以上是对试卷中涉及...
K近邻算法实现(使用MNIST数据集)_Python环境
07-15
用训练数据拟合模型： ```python knn.fit(X_train, y_train) ``` 最后，进行预测并评估模型的准确性。 ```python y_pred = knn.predict(X_test) accuracy = accuracy_score(y_test, y_pred) print(f"Accuracy: {...
matlab算置信带,Kolmogorov-Smirnov检验置信带在Matlab中的实现
weixin_29345997的博客
03-18 321
Kolmogorov-Smirnov检验置信带在Matlab中的实现张三(北京交通大学土木建筑工程学院，北京100044)摘要：K-S检验是非参数检验的一个十分精确的方法，构造高精度的基于K-S统计量的置信带可以更加直观的判断某随机变量是否服从某一分布。本文首先介绍了K-S检验的统计量，构造了K-S检验置信带，进而采用Matlab软件分析所构造的置信带的准确性，最终得到了较好的结果。关键词：K-S...
数理统计复习笔记八——Kolmogorov检验
TSzero的博客
07-29 1120
1. Kolmogorov检验 数理统计复习笔记六——Pearson卡方拟合优度检验说明了χ2\chi^2χ2拟合优度检验，如果分点选的不是很好，可能会把两个有一定差别的分布检验为没有区别，而Kolmogorov检验则可避免其不足。 由于样本经验分布函数Fn(x)F_n(x)Fn​(x)(详见样本经验分布函数)是F(x)F(x)F(x)的一个很好的估计，故当H0:F(x)≡F0(x)(1)H_0:F(x)\equiv F_0(x)\tag1H0​:F(x)≡F0​(x)(1)成立时，Fn(x)F_n(x)F
数据降维之主成分分析、多维缩放、t分布随机近邻嵌入、自编码神经网络
极客梦的专栏
05-09 2410
主成分分析（PCA）算法描述： 输入样本集： 低维空间 具体过程： 注意：实践当中通常对样本矩阵进行奇异值分解代替协方差矩阵特征值分解. 维数：的选取规则： 自编码神经网络 自动编码器（autoencoder）是神经网络的一种，经过训练后能尝试将输入复制到输出。自编码器内部有一个隐含层h，产生编码来表示输入，一个编码器·函数h=f（x）和一个生成重构解码器r=g（h）。
Kolmogorov–Smirnov test 柯尔莫哥洛夫-斯米尔诺夫检验
akr2704的博客
10-22 2047
Kolmogorov–Smirnov test： 柯尔莫哥洛夫-斯米尔诺夫检验(以下简称K-S检验)是用累计次数或累计频率来判断两组数据之间是否存在显著差异的方法。它是将需要做统计分析的数据和另一组标准数据进行对比，求得它和标准数据之间的偏差的方法。Matlab中的两个函数调用：kstest：如kstest(x),x为一向量，则将检查x是否属于标准正态分布；其它调用...
多种数据过滤与降维算法
yehui_qy的博客
01-10 9105
数据过滤1. 缺失值比率 (Missing Values Ratio) 方法的是基于包含太多缺失值的数据列包含有用信息的可能性较少。因此，可以将数据列缺失值大于某个阈值的列去掉。阈值越高，降维方法更为积极，即降维越少。 2. 低方差滤波 (Low Variance Filter) 与上个方法相似，该方法假设数据列变化非常小的列包含的信息量少。因此，所有的数据列方差小的列被移除。需要注意的一点
R语言-生存分析（K-M曲线、森林图、列线图）
明月夜雨微凉的博客
04-19 3万+
生存分析定义 随访研究（follow-up study）是一种前瞻性研究（prospective study） 随访研究的研究设计可以是横断面研究（cross sectional study）、病例对照研究（case-control study），也可以是队列研究（cohort study）。 　　这类研究的应用情景就是：我们关注的临床结局是一个事件，比如：死亡，复发，症状消失，疾病痊愈等等，且...
数学建模--数据统计类赛题分析~~神经网络引入
最新发布
binhyun的博客
07-12 145
神经网络--数学建模---数据处理
【数学建模学习手册】第二章：微分方程（一）
小小unicorn的博客
07-08 1333
【数学建模学习手册】第二章：微分方程（一）
019-GeoGebra中级篇-GeoGebra的坐标系
Lanyan9的博客
07-08 754
GeoGebra作为一款强大的数学软件，支持多种坐标系的使用，包括但不限于：笛卡尔坐标系（Cartesian Coordinate System）、极坐标系（Polar Coordinate System）、参数坐标系（Parametric Coordinate System）、空间坐标系（3D Coordinate System / Spatial Coordinate System）等，今天主要讲一下这些坐标系，以及在GeoGebra中的体现。
import numpy as np import matplotlib.pyplot as plt %matplotlib inline from sklearn.datasets import load_digits data, labels = load_digits(return_X_y=True) (n_samples, n_features), n_digits = data.shape, np.unique(labels).size print(f"# 类别数: {n_digits}; # 样本数: {n_samples}; # 特征数： {n_features}") print(data[:2]) from time import time from sklearn.pipeline import make_pipeline from sklearn.preprocessing import StandardScaler from sklearn.cluster import KMeans kmeans=KMeans(n_clusters=10, random_state=42) ### 创建管道并训练，记录训练时间 t0 = time() estimator = make_pipeline(StandardScaler(), kmeans).fit(data) fit_time = time() - t0 print("训练时间：", fit_time) ### 通过惯性(inertia)聚类的性能 print(estimator) print(estimator[-1].inertia_) result1={"fit-time":fit_time,"inertia:":estimator[-1].inertia_ } from sklearn.decomposition import PCA ### ？？编程使用PCA分解，得到10个主成分，放到变量 components 中--------------------------- pca = PCA(n_components=10) components = pca.fit_transform(data) ###------------------------------------------------------------------------- ### 创建KMeas对象 kmeans=KMeans(n_clusters=10, init="k-means++", random_state=42) ### 创建管道并训练，记录训练时间 t0 = time() estimator = make_pipeline(StandardScaler(), kmeans).fit(data) fit_time = time() - t0 print("训练时间：", fit_time) ### 通过惯性(inertia)聚类的性能 print(estimator) print(estimator[-1].inertia_) result2={"fit-time":fit_time,"inertia:":estimator[-1].inertia_ } from sklearn.decomposition import PCA ### ??编程 选择保持 98%的信息的PCA模型，用名为pca的变量表示 ---------- pca = PCA(n_components=0.98) ###------------------------------------------------------------------- ###创建KMeas对象 kmeans=KMeans(n_clusters=10, random_state=42) ###??编程 创建一个 标准化+PCA降维+KMeas聚类的管道并训练，记录训练时间 t0 = time() estimator = make_pipeline(StandardScaler(), pca, kmeans).fit(data) ##增加pca预处理 fit_time = time() - t0 print("训练时间：", fit_time) ### 通过惯性(inertia)聚类的性能 print(estimator) print(estimator[-1].inertia_) result3={"fit-time":fit_time,"inertia:":estimator[-1].inertia_ }可以选择不同的KMeans的参数对digits进行聚类，比较实验结果，并选择一个针对此问题的最好模型
05-25
这份代码是用数字数据集（load_digits）进行 KMeans 聚类和 PCA 降维后再聚类的实验，可以通过调整 KMeans 的参数来比较不同实验结果，最终选择最好的模型。 第一部分是载入数据集并展示基本信息： ```python ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值