python数据分析之numpy

数据分析之Numpy

1、Numpy的数组对象及其索引

import numpy as np

import numpy as np

a=np.array([1,2,3,4])
print(a)
b=np.array([2,3,4,5])
print(b)

print(a+b)

产生数组

从列表产生数组：

list_array=[1,2,3,4]
a=np.array(list_array)
print(a)

从列表传入：

a=np.array([1,2,3,4])
print(a)

生成全0的数组：

zero=np.zeros(5)
print(zero)

生成全1的数组：

ones=np.ones(5,dtype='int')
print(ones)

可以使用fill方法将数组设为指定值：

list_array=[1,2,3,4]
a=np.array(list_array)
a.fill(5)
print(a)

与列表不同，数组中要求所有元素的dtype都是一样的，如果传入的参数类型与数组类型不一样，需要按照已有的类型进行转换：

a=np.array([1,2,3,4])
a=a.astype('float')
a.fill(2.5)
print(a)

生成整数序列：

a=np.arange(1,10) # 左闭右开
print(a)

生成等差数列：

a=np.linspace(1,10,10) # 左闭右闭
print(a)

生成随机数：

a = np.random.randn(10) # 标准正态分布
print(a)

a=np.random.randint(1,10,10)
print(a)

数组属性

查看数组中数据的类型：

a=np.random.randint(1,10,10)
print(type(a))
print(a.dtype)

查看形状，会返回一个元组，每一个元素代表这一维的元素数目：

a=np.random.randint(1,10,10)
print(a.shape)

查看数组里面元素的数目：

a=np.random.randint(1,10,10)
print(a.size)

查看数组的维度：

a=np.random.randint(1,10,10)
print(a.ndim)

ndarray

ndarray (N-dimensional array)意思是n维数组；n维数组，也称为张量（tensor）或矩阵（matrix）

一个零维数组，也就是一个点，我们称作标量（scalar）；一个一维数组，也就是一行或者一列，我们称作向量（vector）；一个二维的数组，我们称作矩阵（matrix）

NumPy 最重要的一个特点是其 N 维数组对象ndarray ，它是一系列同类型数据的集合，以 0 下标为开始进行集合中元素的索引

• ndarray 对象是用于存放同类型元素的多维数组。
• ndarray 中的每个元素在内存中都有相同存储大小的区域。
• ndarray 内部由以下内容组成：
  • 一个指向数据的指针
  • 数据类型或 dtype
  • 一个表示数组形状（shape）的元组，表示各维度大小的元组
  • 一个跨度元组（stride），其中的整数指的是为了前进到当前维度下一个元素需要"跨过"的字节数

a = np.array([[1, 2], [4, 5], [7, 8]])

print("dim:", a.ndim)
print("strides:", a.strides)
print("dtype:", a.dtype)
print("data:", a.data)
print("shape:", a.shape)
print(a)

ndarray vs list

ndarray 的特点：

• ndarray 要求所有数据都是同种类型的
• 每个数据占用空间一样
• 数组中存储的数据是一段连续的空间

list的特点：

• 可以容纳不同数据类型
• list 中只存放对象的引用，再通过引用找到具体的对象
• 对象的物理地址并不是连续的

ndarray 查找数据运行效率比list快，同时ndarray 存储的数据是连续的一段空间，而list 对象的物理地址是分散的，ndarray 比 list 更省空间

索引与切片

索引第一个元素：

a=np.array([1,2,3,4])
print(a[0])

修改第一个元素的值：

a=np.array([1,2,3,4])

a[0]=5
print(a)

切片，支持负索引：

a=np.array([1,2,3,4])
print(a[1:3]) # 左闭右开

print(a[1:-1]) # 左闭右开

省略参数：

a=np.array([1,2,3,4])
print(a[-2:])
print(a[::2])
print(a[::-1])

多维数组及其属性

array还可以用来生成多维数组：

a = np.array([[1, 2], [4, 5], [7, 8]])
print(a)

#查看形状
print(a.shape)

#查看数目
print(a.size)

#查看维度
print(a.ndim)

多维数组索引

对于二维数组，可以传入两个数字来索引：

a = np.array([[1, 2], [4, 5], [7, 8]])
print(a[1,1])

可以利用索引赋值：

a = np.array([[1, 2], [4, 5], [7, 8]])
print(a[1,1])

a[1,1]=-1
print(a)

使用单个索引来索引一整行的内容：

a = np.array([[1, 2], [4, 5], [7, 8]])
print(a[1])

print(a[:,1])

切片是引用

切片在内存中使用的是引用机制：

a=np.array([1,2,3,4])
b=a[1:3]
print(b)
b[0]=10
print(a)

引用机制意味着，python并没有为b分配新的空间来存储它的值，而是让b指向了a所分配的内存空间，因此改变b的值会改变a的值；而这种现象在列表中并不会出现。这样做的好处在于，对应很大的数组，不用大量复制多余的值，节约了空间；缺点在于，可能出现改变一个值改变另一个值的情况

一个解决方法是使用copy()方法产生一个复制，这个复制会申请新的内存：

a=np.array([1,2,3,4])
b=a[1:3].copy()
print(b)
b[0]=10
print(a)

花式索引

切片只能支持连续或者间隔的切片操作，要想实现任意位置的操作，需要使用花式索引fancy slicing

一维花式索引

花式索引需要指定索引位置：

a=np.arange(0,100,10)
print(a)

index=[1,2,-3]
y=a[index]
print(y)

使用布尔数组来花式索引：

a=np.arange(0,100,10)
mask=np.array([0,1,1,0,0,1,1,0,0,0],dtype=bool) # 长度必须和数组长度相同
y=a[mask]
print(y)

二维花式索引

a = np.array([[1, 2], [4, 5], [7, 8]])
print(a[(0,1,2),(0,1,0)])

与切片不同，花式索引返回的是原对象的一个复制

“不完全”索引

只给定行索引的时候，返回整行：

a = np.array([[1, 2], [4, 5], [7, 8]])
print(a[:2])

where语句

where()函数会返回所有非零元素的索引

一维数组

a=np.array([1,2,0,3,4])
print(a>2)
print(np.where(a>2))
print(a[a>2])

数组类型

类型转换

a=np.array([1,2,0,3,4,1.5],dtype=float)
print(a)

asarray函数

a=np.array([1,2.5,3,4])
np.asarray(a,dtype=float)
print(a)

astype方法

astype方法返回一个新数组

a=np.array([1,2,3,4])
b=a.astype(float)
print(a)
print(b)

ndim、shape、dtype、astype的用法

ndim

ndim返回的是数组的维度，返回的只有一个数，该数即表示数组的维度

shape

shape表示各位维度大小的元组。返回的是一个元组

dtype

dtype一个用于说明数组数据类型的对象。返回的是该数组的数据类型

astype

astype转换数组的数据类型

int32 --> float64 完全ok

float64 --> int32 会将小数部分截断

string --> float64 如果字符串数组表示的全是数字，也可以用astype转化为数值类型

2、数组操作

数组排序

sort函数

a=np.random.randint(1,10,10)
print(a)
print(np.sort(a)) # 数组本身没有发生什么变化

argsort函数

argsort函数返回从小到大的排列在数组中的索引位置

a=np.random.randint(1,10,10)
order=np.argsort(a)
print(order)

求和

a=np.random.randint(1,10,10)
print(np.sum(a))

最大值、最小值、均值、标准差、相关系数矩阵

a=np.random.randint(1,10,10)
b=np.random.randint(1,10,10)

# 最大值
print(np.max(a))
print(a.max())

#最小值
print(np.min(a))
print(a.min())

#均值
print(np.mean(a))
print(a.mean())

#标准差
print(np.std(a))
print(a.std())

#相关系数矩阵
print(np.cov([a,b]))

多维数组操作

数组形状

reshape方法不会修改原来数组的值，而是返回一个新的数组

a=np.random.randint(1,10,10)
b=a.reshape(2,5)
print(b)

转置

a=np.random.randint(1,10,10)
b=a.reshape(2,5)
print(b)

print(b.T)
print(b.transpose())

数组连接

x = np.array([[1, 2], [4, 5]])
y = np.array([[11, 12], [14, 15]])

# 默认沿着第一维进行连接
z=np.concatenate((x,y))
print(z)

# 沿着第二维进行连接
z=np.concatenate((x,y),axis=1)
print(z)

x = np.array([[1, 2], [4, 5]])
y = np.array([[11, 12], [14, 15]])

# 沿着第一维进行连接
vertical=np.vstack(x,y)
print(vertical)

# 沿着第二维进行连接
horizontal=np.hstack(x,y)
print(horizontal)

# 连接成三维数组
three=np.dstack(x,y)
print(three)

3、numpy内置函数

numpy 内置函数总结

shape与axis

x = np.array([[1, 2], [4, 5],[7,8]])
print(x.shape) # (3, 2)

sum=np.sum(x,axis=0)
print(sum) # [12 15]

sum=np.sum(x,axis=1)
print(sum) # [ 3  9 15]

参考

1、NumPy Ndarray 对象

2、Python numpy中的ndarray介绍

3、python-Numpy学习之(一)ndim、shape、dtype、astype的用法