DataWhale Numpy入门学习（下）：Task10——大作业（利用鸢尾属植物数据集熟悉numpy基本操作）

1. 导入鸢尾属植物数据集，保持文本不变。
   第一步导入原始鸢尾数据集
   'data’对应的是花的属性，一共四列；'target’对应的是花的类别，一共3种类别，{0,1,2}

import numpy as np
from sklearn.datasets import load_iris
iris=load_iris()
iris_data=np.c_[iris['data'],iris['target']]

第二步将数字类型的类别转化为文字

target_map_dict={0:'Iris-setosa',1:'Iris-versicolor',2:'Iris-virginica'}
def target_map(x,map_dict):
    return map_dict[x] if x in map_dict else x
target_map_vector=np.vectorize(target_map)
iris_target_maped=target_map_vector(iris['target'],target_map_dict)

最后一步，将转换后的含数字和文本的新数据保存，以便于后续处理。

iris_data_map=np.c_[iris['data'],iris_target_maped]#合并后会统一数据类型
np.savetxt('iris.data',iris_data_map,fmt='%s',delimiter=',')

对于后续处理，均需要首先加载上一步保存的处理后的数据

outfile='iris.data' #指明文件存放路径

2. 求出鸢尾属植物萼片长度的平均值、中位数和标准差（第1列，sepallength）

sepallength = np.loadtxt(outfile,dtype=float,delimiter=',',usecols=[0])#usecols指明使用数据的哪一列
np.mean(sepallength)#均值
np.median(sepallength)#中位数
np.std(sepallength)#标准差

3. 创建一种标准化形式的鸢尾属植物萼片长度，其值正好介于0和1之间，这样最小值为0，最大值为1（第1列，sepallength）
   第一种比较直接的一步步计算

aMax = np.amax(sepallength)
aMin = np.amin(sepallength)
x = (sepallength-aMin)/(aMax - aMin)

第二种利用np.ptp()方法计算极值（最大和最小的差值）。

x = (sepallength-aMin)/np.ptp(sepallength)

4. 找到鸢尾属植物萼片长度的第5和第95百分位数（第1列，sepallength）

np.percentile(sepallength,[5,95])#用列表指明要获取的百分位数位置

5. 把iris_data数据集中的20个随机位置修改为np.nan值
   先获取数据的行列数

i, j = iris_data.shape

第一种利用随机数生成随机的20个数

iris_data[np.random.randint(i, size=20), np.random.randint(j, size=20)] = np.nan

第二种直接调用np.random.choice()。

iris_data[np.random.choice(i, size=20), np.random.choice(j, size=20)] = np.nan

6. 在iris_data的sepallength中查找缺失值的个数和位置（第1列）

x = np.isnan(sepallength)
sum(x)#统计个数
np.where(x)#获得位置

7. 筛选具有 sepallength（第1列）< 5.0 并且 petallength（第3列）> 1.5 的 iris_data行
   主要是np.logical_and()的使用。

iris_data = np.loadtxt(outfile,dtype=float,delimiter=',',usecols=[0,1,2,3])
sepallength = iris_data[:,0]
petallength = iris_data[:,2]
index = np.where(np.logical_and(petallength > 1.5,sepallength < 5.0))#得到对应的位置索引
iris_data[index]

8. 选择没有任何 nan 值的 iris_data行

iris_data[np.sum(np.isnan(iris_data),axis=1)==0]

9. 计算 iris_data 中sepalLength（第1列）和petalLength（第3列）之间的相关系数

iris_data = np.loadtxt(outfile,dtype=float,delimiter=',',usecols=[0,1,2,3])
sepalLength = iris_data[:, 0]
petalLength = iris_data[:, 2]

第一种方法直接按照公式逐步计算

m1=np.mean(sepalLength)
m2=np.mean(petalLength)
cov = np.dot(sepalLength - m1 ,petalLength - m2)
std1 = np.sqrt(np.dot(sepalLength - m1,sepalLength - m1))
std2 = np.sqrt(np.dot(petalLength - m2,petalLength - m2))
print(cov/(std1*std2))

第二类

x = np.mean((sepalLength - m1)*(petalLength - m2))
y = np.std(sepalLength)*np.std(petalLength)
print(x/y)

第三类

x = np.cov(sepalLength,petalLength,ddof=False)
y = np.std(sepalLength)*np.std(petalLength)
print(x[0,1]/y)

第四类直接调用np.corrcoef()

x = np.corrcoef(sepalLength,petalLength)

10. 找出iris_data是否有任何缺失值

x = np.isnan(iris_data)
np.any(x)

11. 在numpy数组中将所有出现的nan替换为0

iris_data[np.isnan(iris_data)] = 0

12. 找出鸢尾属植物物种中的唯一值和唯一值出现的数量

x = np.unique(iris_data,return_counts=True)#通过设置return_counts为true直接在返回唯一值时返回唯一值出现的数量

13. 将 iris_data 的花瓣长度（第3列）以形成分类变量的形式显示。定义：Less than 3 --> ‘small’；3-5 --> ‘medium’；’>=5 --> ‘large’

iris_data = np.loadtxt(outfile,dtype=float,delimiter=',',usecols=[2])
petal_length_bin = np.digitize(iris_data,[0,3,5,10])
label_map = {1:'small',2:'median',3:'large',4:np.nan}
petal_length_cat = [label_map[x] for x in petal_length_bin]

14. 在 iris_data 中创建一个新列，其中 volume 是 (pi x petallength x sepallength ^ 2）/ 3

iris_data = np.loadtxt(outfile,dtype=object,delimiter=',')
sepalLength = iris_data[:,0].astype(float)
petalLength = iris_data[:,2].astype(float)
volume = (np.pi *petalLength*sepalLength**2 )/3#新列的计算
volume=volume[:,np.newaxis]
iris_data = np.concatenate([iris_data,volume],axis=1)#拼接

15. 随机抽鸢尾属植物的种类，使得Iris-setosa的数量是Iris-versicolor和Iris-virginica数量的两倍

species = np.array(['Iris-setosa','Iris-versicolor','Iris-virginica'])
species_out = np.random.choice(species,1000,p=[0.5,0.25,0.25])
np.unique(species_out,return_counts=True)

16. 根据 sepallength 列对数据集进行排序
    由np.argsort(sepalLength)实现

iris_data = np.loadtxt(outfile,dtype=object,delimiter=',')
sepalLength = iris_data[:,0]
index = np.argsort(sepalLength)

17. 在鸢尾属植物数据集中找到最常见的花瓣长度值（第3列）

iris_data=np.loadtxt(outfile,dtype=object,delimiter=',')
petalLength = iris_data[:,2]
vals,counts=np.unique(petalLength,return_counts=True)
print(vals[np.argmax(counts)])#最常见的花瓣长度
print(np.amax(counts))#对应的数量

18. 在鸢尾花数据集的 petalwidth（第4列）中查找第一次出现的值大于1.0的位置

outfile ='iris.data'
iris_data = np.loadtxt(outfile,dtype=float,delimiter=',',usecols=[0,1,2,3])
petalWidth = iris_data[:,3]
index = np.where(petalWidth > 1.0)#所有大于1.0的位置
print(index)
print(index[0][0])#第一次

参考博文
team-learning-program/IntroductionToNumpy/Task10 大作业.md
利用Numpy进行鸢尾花数据集分析