数据预处理-数据清洗之numpy创建及属性

什么是数据预处理？

数据预处理（data preprocessing）是指在主要的处理以前对数据进行的一些处理。一般我们得到的数据会存在有缺失值、重复值等，在使用之前需要进行数据预处理。它是一系列对数据操作的统称。

为什么要进行数据预处理？

现实世界中数据大体上都是不完整，不一致的脏数据，无法直接进行数据挖掘，或挖掘结果差强人意。为了提高数据挖掘的质量产生了数据预处理技术。 　
数据预处理有多种方法：

1. 数据清洗：可以用来清楚数据中的噪声，纠正不一致。
2. 数据集成：将数据由多个数据源合并成一个一致的数据存储，如数据仓库。
3. 数据归约：可以通过如聚集、删除冗余特征或聚类来降低数据的规模。
4. 数据变换：(例如，规范化)可以用来把数据压缩到较小的区间，如0.0到1.0。

这些数据处理技术在数据挖掘之前使用，大大提高了数据挖掘模式的质量，降低挖掘所需要的时间。
本章总结在学习数据清洗–使用numpy包的相关内容

数据清洗–numpy包的使用

创建数组

使用了四种创建数组的方法

1. 使用np.array()生成NDarray
2. 使用随机数函数生成array
3. 使用arange函数创建array
4. 创建特殊数组函数
   np.zeros() #全0数组
   np.ones() #全1数组
   np.full() #全n数组
   np.linspace() #线性序列数组(元素之间等差)
   np.eye() #单位矩阵数组
   np.diag() #对角矩阵数组

#导入numpy包

import numpy as np

'''
使用np.array()生成NDarray
'''
arr1=np.array([1,3.14,-5,2,6.2,0],ndmin=1) #ndmin控制维数

#print(arr1)

arr2=np.array([[5,6,7,8,9],[4,3,2,1,0]])

#print(arr2)

'''
使用随机数函数生成array
'''

arr4=np.random.randint(10,size=(4,2)) #size指定形状4行2列

#print(arr4)

arr5=np.random.rand(2,3,4) #2,3,4 维度，轴。从0-1的均匀分布

#print(arr5)

arr6=np.random.uniform(size=(2,3))

#print(arr6)

arr7=np.random.uniform(1,10,size=(2