神经网络中对输入数据的预处理包括哪些步骤方法?最好能说得详细些,谢谢!
谷歌人工智能写作项目:神经网络伪原创
在模式识别,人工神经网络方法中,为什么要进行数据预处理
写作猫。
可以降低数据大小,通过归约,可以建立好的样本集,因为脏数据的存在,需要预处理单位不一致,比如,身高1.7米,体重120斤,那么1.7和120不在一个数量级上,导致1.7的权重被淹没有时候需要降维,降低运算量,有时需要升维,达到线性可分,这些都是预处理的方面。
在模式识别、人工神经网络方法中,为什么要进行数据预处理呢?
1.原数据可能数据量很大,维数很,计算机处理起来时间复杂度很高,预处理可以降低数据维度。2.数据的很多特性非常影响神经网络等分类模型的效果。
比如数据值得分布不在一个尺度上,当地气温值与当地月工资显然不在一个数量级上,这时,需要数据规范化,把这两个特征的数据都规范到0到1,这样使得它们对模型的影响具有同样的尺度。
3.当然,数据预处理还有很多,比如中心化,去噪,降维,平滑,变换等等,各有各的目的,总之都是为了最终分类器的效果服务,由于原数据可能含有大量的噪声,去除噪声是有必要的。
数据预处理的主要方法有哪些
1.墓于粗糙集(RoughSet)理论的约简方法粗糙集理论是一种研究不精确、不确定性知识的数学工具。目前受到了KDD的广泛重视,利用粗糙集理论对数据进行处理是一种十分有效的精简数据维数的方法。
我们所处理的数据一般存在信息的含糊性(Vagueness)问题。含糊性有三种:术语的模糊性,如高矮;数据的不确定性,如噪声引起的;知识自身的不确定性,如规则的前后件间的依赖关系并不是完全可靠的。
在KDD中,对不确定数据和噪声干扰的处理是粗糙集方法的2.基于概念树的数据浓缩方法在数据库中,许多属性都是可以进行数据归类,各属性值和概念依据抽象程度不同可以构成一个层次结构,概念的这种层次结构通常称为概念树。
概念树一般由领域专家提供,它将各个层次的概念按一般到特殊的顺序排列。
3.信息论思想和普化知识发现特征知识和分类知识是普化知识的两种主要形式,其算法基本上可以分为两类:数据立方方法和面向属性归纳方法。
普通的基于面向属性归纳方法在归纳属性的选择上有一定的盲目性,在归纳过程中,当供选择的可归纳属性有多个时,通常是随机选取一个进行归纳。
<