数据探索和预处理可能涉及到的算法

相关性分析;
主成分分析,用较少的变量来反映较多变量,这些较少的变量能反映原始变量的大部分信息,且彼此之间是线性无关的。
周期性分析:在时间序列预测时,经常要对样本数据进行周期性分析,以更好的理解样本数据变化的特点,为时序预测分析提供指导依据。
缺失值分析:样本数据中经常会出现一些缺失值,在进行建模预测前,需要对缺失值按照某些规则进行处理。处理的方法有:删除和数据补齐。
坏数据处理:如果抽取的数据中存在坏数据,需要对坏数据进行预处理,通常的做法是采用绝对均值或者莱茵达法对样本中的坏点数据进行剔除或修正处理。
属性选择:
数据规约:将属性数据按照比例缩放,使之落入一个较少的特定区间。找出最小属性集合,使得数据类的概率分布尽可能地接近所使用所有属性的原分布。
离散化处理:离散化技术用来减少给定连续属性的个数,这个过程通常是递归的,而且大量时间花在排序上,对于给定的数值属性,概念分层定义了该属性的一个离散化的值。
特征提取:主要对图像,声音,信号等数据源,通过图像处理、小波变换等方法来建立一组新的、更紧凑的属性来表示数据的过程。如图像特征提取是根据图像特征,提取反映图像本质的一些关键性指标,已达到自动进行图像识别或分类的目的。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值