Python-Numpy(03)-统计相关

最新推荐文章于 2024-06-22 22:07:09 发布
最新推荐文章于 2024-06-22 22:07:09 发布
阅读量400 收藏
点赞数
分类专栏： Python 文章标签： numpy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42596275/article/details/110159929
版权

Numpy_统计相关

参考文档/博客

分位数的计算.
无偏估计与方差.
协方差矩阵的解释.
dot()函数的解释.

1. 次序统计

1.1 计算最小值

numpy.amin(a[, axis=None, out=None, keepdims=np._NoValue, initial=np._NoValue, where=np._NoValue])
numpy中amin()方法中维度axis=0 1 2 的理解
axis=0 从最外一层的维度来比较(把两块面包变成一块面包)
axis=1 从中间一层的维度来比较(比较行，将多行压缩成了一行)
axis=2 从最内一层的维度来比较(比较列，把多列压缩成了一列)

import numpy as np
a = np.random.randint(2,40,size=(2,3,4))
print(a)
print("="*90)
print(np.amin(a,0))
print("="*90)
print(np.amin(a,1))
print("="*90)
print(np.amin(a,2))
print("="*90)
print(np.amin(a,(0,2)))

在这里插入图片描述

1.2 计算最大值

numpy.amax()计算最大值，参数和np.amin()一样

1.3 计算极差

numpy.ptp(a, axis=None, out=None, keepdims=np._NoValue)
最大数-最小数的值(ptp means ‘peak to peak’)

import numpy as np

np.random.seed(20200623)
x = np.random.randint(0, 20, size=[4, 5])
print(x)
# [[10  2  1  1 16]
#  [18 11 10 14 10]
#  [11  1  9 18  8]
#  [16  2  0 15 16]]

print(np.ptp(x))  # 18
print(np.ptp(x, axis=0))  # [ 8 10 10 17  8]
print(np.ptp(x, axis=1))  # [15  8 17 16]

1.4 计算分位数

numpy.percentile(a, q, axis=None, out=None, overwrite_input=False, interpolation=‘linear’, keepdims=False)
1）第一四分位数(Q1)，又称“较小四分位数”，等于该样本中所有数值由小到大排列后第25%的数字；
2）第二四分位数(Q2)，又称“中位数”，等于该样本中所有数值由小到大排列后第50%的数字；
3）第三四分位数(Q3)，又称“较大四分位数”，等于该样本中所有数值由小到大排列后第75%的数字。
第三四分位数与第一四分位数的差距又称四分位距。

1.4.1 分位数解法1

求P分位点；(P是一个小于等于1的小数)
假如有n个点，但是实际上只有n-1个距离；所以直接使用n*p得到的位置的数字是有问题的，所以真正的P分位点的绝对位置为：(n - 1)*p + 1
那么问题就转化为了去求得这个位置上的数字，设绝对位置为X，X向下取整为Y，则有data[Y] + (data[Y+1] - data[Y]) * (X-Y)

1.4.2 分位数解法2

条件与解法1一样；
np这个数字一定是小于或者等于真正位置的，所以取大于等于np位置的第一数字；
设大于np的第一个整数为X，则有：
data[X]+(data[X+1]-data[X]) * (P-(X-1)/(N - 1)) / (N - 1)；
在这里插入图片描述

import numpy as np

np.random.seed(20200623)
x = np.random.randint(0, 20, size=[4, 5])
print(x)
# [[10  2  1  1 16]
#  [18 11 10 14 10]
#  [11  1  9 18  8]
#  [16  2  0 15 16]]

print(np.percentile(x, [25, 50]))  
# [ 2. 10.]

print(np.percentile(x, [25, 50], axis=0))
# [[10.75  1.75  0.75 10.75  9.5 ]
#  [13.5   2.    5.   14.5  13.  ]]

print(np.percentile(x, [25, 50], axis=1))
# [[ 1. 10.  8.  2.]
#  [ 2. 11.  9. 15.]]

2. 均值与方差

2.1 中位数

numpy.median(a, axis=None, out=None, overwrite_input=False, keepdims=False)

import numpy as np

np.random.seed(20200623)
x = np.random.randint(0, 20, size=[4, 5])
print(x)
# [[10  2  1  1 16]
#  [18 11 10 14 10]
#  [11  1  9 18  8]
#  [16  2  0 15 16]]
print(np.percentile(x, 50))
print(np.median(x))
# 10.0

print(np.percentile(x, 50, axis=0))
print(np.median(x, axis=0))
# [13.5  2.   5.  14.5 13. ]

print(np.percentile(x, 50, axis=1))
print(np.median(x, axis=1))
# [ 2. 11.  9. 15.]

2.2 平均值

numpy.mean(a[, axis=None, dtype=None, out=None, keepdims=np._NoValue)])

import numpy as np

x = np.array([[11, 12, 13, 14, 15],
              [16, 17, 18, 19, 20],
              [21, 22, 23, 24, 25],
              [26, 27, 28, 29, 30],
              [31, 32, 33, 34, 35]])
y = np.mean(x)
print(y)  # 23.0

y = np.mean(x, axis=0)
print(y)  # [21. 22. 23. 24. 25.]

y = np.mean(x, axis=1)
print(y)  # [13. 18. 23. 28. 33.]

2.3 加权平均值

numpy.average(a[, axis=None, weights=None, returned=False])
mean和average都是计算均值的函数，在不指定权重的时候average和mean是一样的。指定权重后，average可以计算加权平均值。

import numpy as np

x = np.array([[11, 12, 13, 14, 15],
              [16, 17, 18, 19, 20],
              [21, 22, 23, 24, 25],
              [26, 27, 28, 29, 30],
              [31, 32, 33, 34, 35]])
y = np.average(x)
print(y)  # 23.0

y = np.average(x, axis=0)
print(y)  # [21. 22. 23. 24. 25.]

y = np.average(x, axis=1)
print(y)  # [13. 18. 23. 28. 33.]


y = np.arange(1, 26).reshape([5, 5])
print(y)
# [[ 1  2  3  4  5]
#  [ 6  7  8  9 10]
#  [11 12 13 14 15]
#  [16 17 18 19 20]
#  [21 22 23 24 25]]

z = np.average(x, weights=y)
print(z)  # 27.0

z = np.average(x, axis=0, weights=y)
print(z)
# [25.54545455 26.16666667 26.84615385 27.57142857 28.33333333]

z = np.average(x, axis=1, weights=y)
print(z)
# [13.66666667 18.25       23.15384615 28.11111111 33.08695652]

2.4 计算方差

numpy.var(a[, axis=None, dtype=None, out=None, ddof=0, keepdims=np._NoValue])

要注意方差和样本方差的无偏估计，方差公式中分母上是n；
样本方差无偏估计公式中分母上是n-1（n为样本个数）。
ddof=0：是“Delta Degrees of Freedom”，表示自由度的个数。

方差的计算公式：
在这里插入图片描述
自由度：
在这里插入图片描述

import numpy as np

x = np.array([[11, 12, 13, 14, 15],
              [16, 17, 18, 19, 20],
              [21, 22, 23, 24, 25],
              [26, 27, 28, 29, 30],
              [31, 32, 33, 34, 35]])
y = np.var(x)
print(y)  # 52.0
y = np.mean((x - np.mean(x)) ** 2)
print(y)  # 52.0

y = np.var(x, ddof=1)
print(y)  # 54.166666666666664
y = np.sum((x - np.mean(x)) ** 2) / (x.size - 1)
print(y)  # 54.166666666666664

y = np.var(x, axis=0)
print(y)  # [50. 50. 50. 50. 50.]

y = np.var(x, axis=1)
print(y)  # [2. 2. 2. 2. 2.]

2.5 计算标准差

numpy.std(a[, axis=None, dtype=None, out=None, ddof=0, keepdims=np._NoValue])
标准差是一组数据平均值分散程度的一种度量，是方差的算术平方根。

import numpy as np
x = np.array([[11, 12, 13, 14, 15],
              [16, 17, 18, 19, 20],
              [21, 22, 23, 24, 25],
              [26, 27, 28, 29, 30],
              [31, 32, 33, 34, 35]])

y = np.std(x); print(y)   #直接计算标准差
y = np.sqrt(np.var(x)); print(y)  #方差开根号
y = np.std(x, axis=0); print(y)   #压缩行，计算标准差
y = np.std(x, axis=1); print(y)   #压缩列计算标准差

在这里插入图片描述

3. 相关

3.1 计算协方差矩阵

在这里插入图片描述
numpy.cov(m, y=None, rowvar=True, bias=False, ddof=None, fweights=None,aweights=None)

协方差矩阵：
在这里插入图片描述
dot()返回的是两个数组的点积(dot product)

import numpy as np
x = [1, 2, 3, 4, 6]
y = [0, 2, 5, 6, 7]
print(np.cov(x))  # 3.7   #样本方差
print(np.cov(y))  # 8.5   #样本方差
print(np.cov(x, y))
# [[3.7  5.25]     [c(x,x)  c(c,y)]
#  [5.25 8.5 ]]    [c(y,x)  c(y,y]
print(np.var(x))  # 2.96    #方差
print(np.var(x, ddof=1))  # 3.7    #样本方差
print(np.var(y))  # 6.8    #方差
print(np.var(y, ddof=1))  # 8.5    #样本方差
z = np.mean((x - np.mean(x)) * (y - np.mean(y)))    #协方差
print(z)  # 4.2
z = np.sum((x - np.mean(x)) * (y - np.mean(y))) / (len(x) - 1)   #样本协方差
print(z)  # 5.25
z = np.dot(x - np.mean(x), y - np.mean(y)) / (len(x) - 1)     #样本协方差
print(z)  # 5.25

3.2 计算相关系数

numpy.corrcoef(x, y=None, rowvar=True, bias=np._NoValue, ddof=np._NoValue)
np.cov()描述的是两个向量协同变化的程度，它的取值可能非常大，也可能非常小，这就导致没法直观地衡量二者协同变化的程度。相关系数实际上是正则化的协方差，n个变量的相关系数形成一个n维方阵。
Cov(x, y) / sqrt(D(x)) * sqrt(D(Y))

import numpy as np

np.random.seed(20200623)
x, y = np.random.randint(0, 20, size=(2, 4))

print(x)  # [10  2  1  1]
print(y)  # [16 18 11 10]

z = np.corrcoef(x, y)
print(z)
# [[1.         0.48510096]
#  [0.48510096 1.        ]]

#约分直接约掉了1/n，所以这里都没有除n
a = np.dot(x - np.mean(x), y - np.mean(y))
b = np.sqrt(np.dot(x - np.mean(x), x - np.mean(x)))
c = np.sqrt(np.dot(y - np.mean(y), y - np.mean(y)))
print(a / (b * c))  # 0.4851009629263671

4. 直方图

在这里插入图片描述
列子:
没有包括右端点；right=False

import numpy as np

x = np.array([0.2, 6.4, 3.0, 1.6])
bins = np.array([0.0, 1.0, 2.5, 4.0, 10.0])
inds = np.digitize(x, bins)
print(inds)  # [1 4 3 2]
for n in range(x.size):
    print(bins[inds[n] - 1], "<=", x[n], "<", bins[inds[n]])

#1 (-00, 0.0)
#2 [0.0, 1.0)
#3 [1.0, 2.5)
#4 [2.5, 4.0)
#5 [4.0, 10.0)
#6 [10.0, +00)

包括了右端点
right=True

import numpy as np

x = np.array([1.2, 10.0, 12.4, 15.5, 20.])
bins = np.array([0, 5, 10, 15, 20])
inds = np.digitize(x, bins, right=True)
print(inds)  # [1 2 3 4 4]

inds = np.digitize(x, bins, right=False)
print(inds)  # [1 3 3 4 5]

5. 练习

5.1 y=X β

对于简单线性回归，向量计法等同于
在这里插入图片描述
给定X跟y我们可以使用 NumPy 库解出β值

5.2 计算给定数组中每行的最大值

a = np.random.randint(1, 10, [5, 3])
如何在二维numpy数组的每一行中找到最大值？

解题
思路：使用max()函数，并且设置axis=1，这样就直接得到了数组每一行的最大值
代码：

import numpy as np

np.random.seed(20201127)
a = np.random.randint(1, 10, [5, 3])
print(a)
b = np.max(a, axis = 1)
print(b)

在这里插入图片描述

5.3 计算数组的元素最大值与最小值之差（极值）

数组为：
A=[[3 7 5]
[8 4 3]
[2 4 9]]
思路：使用ptp()函数，不用设置axis，直接得到了数组中的极差

import numpy as np

a = np.array([[3,7,5],
              [8,4,3],
              [2,4,9]])
print(np.ptp(a))

5.4 计算s的均值，方差，标准差，协方差

s=[9.7, 10, 10.3, 9.7,10,10.3,9.7,10,10.3]

import numpy as np

s=[9.7, 10, 10.3, 9.7,10,10.3,9.7,10,10.3]
a = np.array(s)

#均值 mean()
b = np.mean(a); print(b)
b = np.average(a); print(b)
#方差
b = np.var(a); print(b)
b = np.mean((a-np.mean(a))**2); print(b)
#标准差
b = np.std(a); print(b)
b = np.sqrt(np.mean((a - np.mean(a)) **2)); print(b)
#样本协方差
b = np.cov(a); print(b)
b = np.sum((a - np.mean(a)) ** 2) / (a.size - 1); print(b)
#协方差
b = np.mean((a - np.mean(a)) ** 2); print(b)

在这里插入图片描述

调味趣事：

对于协方差我是采用如下的方式计算的：

b = np.cov(a); print(b)
b = np.mean((a - np.mean(a)) ** 2); print(b)

后来发现两种方式得到的结果不一样；
后来发现原来cov()计算的是样本协方差.为此我纠结了一会儿并向小伙伴们请教，想着是不是函数内部有问题，有点儿小激动；结果是：原来又是自己短路了。打扰了，打扰了。

phac123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Python Numpy 使用函数进行简单的统计分析
霏霏_伊人
05-03 1548
1. 排序 在NumPy中，直接排序经常使用sort函数，无返回值；间接排序经常使用argsort函数和lexsort函数。 使用sort函数进行直接排序 使用sort函数排序时，可以指定一个axis参数，使得sort函数可以沿着指定轴对数据集进行排序。axis=1 沿着横轴排序；axis=0 沿着纵轴排序 使用argsort函数排序时，返回值为重新排序值得下标 lexsor...
【python】numpy使用-数学统计
rikoukai的博客
10-24 208
numpy数学统计
python中numpy统计计算
csh2388827741的博客
07-12 264
import pandas as pd import numpy as np from pandas import Series,DataFrame df1 = DataFrame( np.random.choice(range(20),size=(4,3),replace=False), index=list('ABCD'), columns=list('abc') ) print(df1) #使用numpy函数操作 axis 控制行列聚合 0跨列 1跨行 print(np.su
Lesson5.3---Python 之 NumPy 统计函数、数据类型和文件操作
一名混沌的大学生
02-17 1048
Python 之 NumPy 统计函数、数据类型和文件操作
使用Numpy数组（一）
格陵Lan丶
02-02 276
使用Numpy数组可以使你利用简单的数组表达式完成多种数据操作任务，而无须写些大量循环。这种利用数组表达式来替代显式循环的方法，称为向量化。通常，向量化的数组操作会比纯Python的等价实现在速度上快一到两个数量级（甚至更多），这对所有种类的数值计算产生了最大的影响。 作一个简单的示例，假设我们想要对一些网格数据来计算函数sqrt（x^2 + y^2）的值。np.meshgrid函数接收两个一维数...
Numpy练习：Python-Numpy
02-17
在Python编程环境中，Numpy是一个不可或缺的库，尤其对于数据处理和科学计算而言。Numpy提供了高效的多维数组对象，以及一系列用于操作这些数组的方法。本篇将主要围绕Numpy库进行深入探讨，并结合Jupyter Notebook...
python-10-numpy.zip
06-05
NumPy(Numerical Python) 是科学计算基础库，提供大量科学计算相关功能，比如数据 统计，随机数生成等。其提供最核心类型为多维数组类型（ndarray），支持大量的维度数组 与矩阵运算，Numpy 支持向量处理 ndarray ...
对python-numpy库的详细分析介绍
11-16
Python的numpy库是数据分析、科学计算以及机器学习领域不可或缺的一部分，它提供了强大的数值计算功能。在本篇文章中，我们将深入探讨numpy库的核心概念、常用函数和操作方式。 首先，numpy库的核心是ndarray对象，...
Python-NumPy是使用Python进行科学计算所需的基础软件包
08-10
**Python-NumPy：科学计算的核心工具** NumPy，全称Numeric Python，是Python编程语言中的一个基础软件包，主要用于处理大型多维数组和矩阵。它在数据科学、机器学习和数值计算等领域扮演着至关重要的角色。NumPy的...
python-NumPy学习指南代码
11-15
**Python NumPy学习指南代码详解** NumPy是Python编程语言中的一个核心库，专为处理大型多维数组和矩阵而设计。它提供了大量的数学和逻辑运算功能，是进行科学计算的基础工具，尤其在数据分析、机器学习和图像处理...
对python numpy 中数据统计的学习
weixin_44946697的博客
04-12 440
排序返回值为对应的值 import numpy as np list1=np.array([[4, 8, 5], [9, 3, 1]]) list2=list1 list3=list1 print("原数列为:") print(list1) list2.sort(axis=1) print("按行排序(axis=1)的结果为:") print(list2) list3.sort(axis=0) print("按列排序(axis=0)的结果为:") print(list3) 原数列为: [[4 8 5]
【Python】数据分析.numpy.数组中常用的统计函数及numpy.nan/inf
懂得一千零一种,赋予你失败的方法！
05-19 3453
一、Python----数据分析-numpy.数组中常用的统计函数 假设有一个二维数组t t = np.arange(24).reshape((4,6)) print(t) # [[ 0 1 2 3 4 5] # [ 6 7 8 9 10 11] # [12 13 14 15 16 17] # [18 19 20 21 22 23]] axis属性：指定统计的轴方向 axis=0 行之间的计算 axis=1 列之间的计算 求和函数：sum t = np.arange(24).resh
Python数据分析（2）：numpy
zdb
11-23 2604
文章目录第3章 数组的存储和处理：numpy模块3.1 创建数组3.1.1 创建数组：array()函数3.1.2 创建等差数组：arange()函数3.1.3 创建随机数组：rand()、randn()、randint()函数3.2 查看数组的属性3.2.1 查看行列数 ：shape属性3.2.2 查看元素个数：size属性3.2.3 查看元素的数据类型：dtype属性3.2.4 转换元素的数据类型：astype()函数3.2.5 查看数组维度：ndim属性3.3 选取数组元素3.3.1 一维数组元素的选
python数据分析01—Numpy入门
m0_55196097的博客
02-13 818
目录 数据分析常用的库： 1.Numpy：基础知识 1.1 Numpy创建多维数组内置方法 1.2 多维数组的索引 1.2.1 列表中截取元素 1.2.2数组索引 1.2.3从二维到三位 1.3 多维数组的基本运算 1.3.1 加减乘除都支持 1.3.2 多维数组之间运算 1.3.3 多维数组逻辑运算 1.4 多维数组的统计方法 数据分析常用的库： 三方库： Numpy- 科学计算,处理矩阵运算能力强 Pand...............
使用NumPy进行统计分析
最新发布
Soli_K的博客
06-22 1026
NumPy是 Python 语言的一个扩展程序库，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库1。它是科学计算的基础包，提供了多维数组对象、各种派生对象（如掩码数组和矩阵），以及用于数组快速操作的各种 API。NumPy 的功能包括数学、逻辑、形状操作、排序、选择、输入输出、离散傅立叶变换、基本线性代数、基本统计运算和随机模拟等。本文主要介绍了NumPy数组对象ndarray的创建、生成随机数的方法、数组的索引和数组形态的变换方法。
numpy(4)——numpy数组运算：向量化运算、矩阵运算、广播、统计、比较、花哨索引
liupc的学习笔记
11-18 998
一、向量化运算 1.1 与数字的加减乘数等算数运算 每个元素都指向相同的操作。比如： 结果可想而知。 1.2 通用函数：绝对值、三角函数、指数、对数 通用函数(即ufunc)是一种对ndarray的数据执行元素级运算的函数。 (1) 绝对值 abs(a) #Python内置函数 ...
【python】Numpy统计函数总结
微小冷的学习笔记
11-05 2026
这四对协方差，对于数组与其自身的协方差，其协方差表达式退化为。0在1前面，是第0个区间。这和标准差的公式是极为相近的，Numpy中的标准差公式是。在理解协方差与方差之后，就可以理解相关系数，记。列数组之间的协方差，那么相关系数可表示为。功能相同，但只输出直方图的边缘，即上面的。长度为10，表示每个区间中的元素个数；，得到的是一个矩阵，分别用于描述。时，数组与其自身的相关系数为1。的长度为11，表示区间的起止值。首先回忆一下协方差的概念，对于。两组样本，其协方差可以表示为。中对应区间的位置，例如。
【Python】numpy矩阵运算大全
热门推荐
Explore_Zhou
10-27 1万+
因为课程需要，第一次这么彻底地接触numpy。虽闻名已久，但是真正使用numpy才感受到它的强大，发现它尤其适合数据分析与处理。这里根据自己的使用经验简单总结一下numpy在矩阵运算中的应用，之后也会根据自己的实践经历不断更新。
python 基于numpy 的统计分析
qq_43287650的博客
09-26 4320
注：本文一下代码均在jupter notebook中完成 一、文件读写 1.利用savetxt函数将数据存储到文件 语法：np.savetxt(filename,data) import numpy as np #导入模块 #准备一个数据 data arr=np.array(range(6)) arr np.savetxt('arr.txt',arr) #运行 arr保存到当前文件夹中，运...
Python-opencv图像像素值统计
07-15
要统计图像的像素值分布，您可以使用Python中的OpenCV库来实现。下面是一个简单的示例代码： ```python import cv2 import numpy as np from matplotlib import pyplot as plt # 读取图像 image = cv2.imread('...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值