运用Pandas进行数据分析——（2）Numpy基础

最新推荐文章于 2024-05-10 02:53:37 发布
最新推荐文章于 2024-05-10 02:53:37 发布
阅读量743 收藏 3
点赞数 2
分类专栏： 数据分析 文章标签： python pandas 数据分析 numpy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_64934627/article/details/126420260
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

  • 一、np数组的构造
  • 二、np数组的变形与合并
  • 三、np数组的切片与索引
  • 四、常用函数
  • 五、广播机制
  • 六、向量与矩阵的运算

声明：本文基于Datawhale提供的资料学习理解总结而来，如有侵权，联系速删。

一、np数组的构造

一般方法通过array来构造：

import numpy as np
np.array([1,2,3])

特殊数组生成方式：

【等差数列】：np.linspace , np.arange

import numpy as np
np.linspace(1,5,11) # 起始、终止（包含）、样本个数
# Out:array([1. , 1.4, 1.8, 2.2, 2.6, 3. , 3.4, 3.8, 4.2, 4.6, 5. ])

import numpy as np
np.arange(1,5,2) # 起始、终止（不包含）、步长
# Out:array([1, 3])

【特殊矩阵】: zeros, eye,  full

zeros用于生成零矩阵，eye用于生成单位矩阵，full用于填充

np.zeros((2,3)) # 传入元组表示各维度大小
# Out:array([[0., 0., 0.],
#       [0., 0., 0.]])

np.eye(3) # 3*3的单位矩阵
# Out:array([[1., 0., 0.],
#       [0., 1., 0.],
#       [0., 0., 1.]])

np.eye(3, k=1) # 偏移主对角线1个单位的伪单位矩阵
# Out:array([[0., 1., 0.],
#       [0., 0., 1.],
#       [0., 0., 0.]])

np.full((2,3), 10) # 元组传入大小，10表示填充数值
# Out:array([[10, 10, 10],
#       [10, 10, 10]])

np.full((2,3), [1,2,3]) # 每行填入相同的列表
# Out:array([[1, 2, 3],
#      [1, 2, 3]])

【随机矩阵】：np.random

rand用于生成0-1均匀分布的随机数组:

np.random.rand(3) # 生成服从0-1均匀分布的三个随机数
#Out:array([0.55550361, 0.09152596, 0.16543795])

np.random.rand(3, 3) # 注意这里传入的不是元组，每个维度大小分开输入
#Out:array([[0.54073648, 0.25404973, 0.36529935],
#       [0.30601613, 0.61560633, 0.46808499],
#      [0.70884679, 0.16206435, 0.07645365]])

对于服从区间a到b上的均匀分布可以如下生成：

a, b = 5, 15
(b - a) * np.random.rand(3) + a
#Out: array([12.02081464,  9.97105026, 14.22299817])

也可以选择已有的库函数：

np.random.uniform(5, 15, 3)
#Out: array([5.71941508, 9.52309402, 5.44193533])

randn用于生成N（0，I）的标准正态分布：

np.random.randn(3)
#Out: array([-0.80135678, -1.65845284,  1.67007456])

np.random.randn(2, 2)
#Out: 
#array([[ 1.24397986, -0.62766172],
#       [-0.14620696,  0.94400227]])

对于服从方差为σ²均值为 μ的一元正态分布可以如下生成：

igma, mu = 2.5, 3
mu + np.random.randn(3) * sigma
#Out: array([1.03345622, 4.28382765, 2.45767191])

同样，也可选择从已有函数生成：

np.random.normal(3, 2.5, 3)
#Out: array([2.18609445, 5.50275186, 0.13237503])

randint用于生成随机整数组，可以指定生成随机数组的最小值最大值（不包含）和维度大小：

low, high, size = 5, 15, (2,2) # 生成5到14的随机整数
np.random.randint(low, high, size)
#Out: 
#array([[13, 11],
#      [ 6, 11]])

choice用于生成随机列表，可以从给定列表中以一定方式和概率抽取结果，当不指定概率时为均匀采样，默认抽取方式为有放回抽样：

my_list = ['a', 'b', 'c', 'd']

np.random.choice(my_list, 2, replace=False, p=[0.1, 0.7, 0.1 ,0.1])
#Out:array(['b', 'c'], dtype='<U1')

np.random.choice(my_list, (3,3))
#Out: 
#array([['c', 'd', 'b'],
#      ['c', 'd', 'b'],
#      ['c', 'd', 'd']], dtype='<U1')

当返回的元素个数与原列表相同时，不放回抽样等价于使用permutation函数，即打散原列表：

np.random.permutation(my_list)
#Out: array(['c', 'b', 'a', 'd'], dtype='<U1')

最后，需要提到的是随机种子，它能够固定随机数的输出结果：

p.random.seed(0)

np.random.rand()
#Out: 0.5488135039273248

np.random.seed(0)

np.random.rand()
#Out: 0.5488135039273248

随机种子seed括号里的数，顾名思义， 好像就是一个固定的序列集合的种子代号，例如代号0（如：0，1，2，3，4…），中包含一大串随机数，但都是固定的，所以，无论后面怎么random.rand，生成的随机数都是seed(0)集合中的随机数。

二、np数组的变形与合并

【转置】：T

np.zeros((2,3)).T
#Out: 
#array([[0., 0.],
#      [0., 0.],
#      [0., 0.]])

【合并操作】：r_, c_

在二维数组中，r_和c_分别表示上下合并与左右合并：

np.r_[np.zeros((2,3)),np.zeros((2,3))]
#Out: 
#array([[0., 0., 0.],
#       [0., 0., 0.],
#       [0., 0., 0.],
#       [0., 0., 0.]])
np.c_[np.zeros((2,3)),np.zeros((2,3))]
#Out: 
#array([[0., 0., 0., 0., 0., 0.],
#       [0., 0., 0., 0., 0., 0.]])

一维数组和二维数组进行合并时，应当把其视作列向量，在长度匹配的情况下只能使用左右合并的c_操作：

try:

    np.r_[np.array([0,0]),np.zeros((2,1))]

except Exception as e:

    Err_Msg = e



Err_Msg
#Out: ValueError('all the input arrays must have same number of dimensions, but the array at index 0 has 1 dimension(s) and the array at index 1 has 2 dimension(s)')

np.r_[np.array([0,0]),np.zeros(2)]
#Out: array([0., 0., 0., 0.])

np.c_[np.array([0,0]),np.zeros((2,3))]
#Out: 
#array([[0., 0., 0., 0.],
#       [0., 0., 0., 0.]])

【维度变换】：reshape

reshape能够把原数组按照新的维度重新排列。在使用时，有两种模式，分别为C模式与F模式，分别以逐行和逐列的顺序进行填充读取

target = np.arange(8).reshape(2,4)

target
#Out: 
#array([[0, 1, 2, 3],
#       [4, 5, 6, 7]])

arget.reshape((4,2), order='C') # 按照行读取和填充
#Out: 
#array([[0, 1],
#       [2, 3],
#       [4, 5],
#       [6, 7]])

target.reshape((4,2), order='F') # 按照列读取和填充
#Out: 
#array([[0, 2],
#       [4, 6],
#       [1, 3],
#       [5, 7]])

因为被调用数组的大小是确定的，reshape允许有一个维度存在空缺，此时只需填充-1即可：

target.reshape((4,-1))
#Out: 
#array([[0, 1],
#       [2, 3],
#       [4, 5],
#       [6, 7]])

三、np数组的切片与索引

数组的切片模式除使用slice类型的start：end：step切片，还可以直接传入列表指定某个维度的索引进行切片：

target = np.arange(9).reshape(3,3)

target
#Out: 
#array([[0, 1, 2],
#       [3, 4, 5],
#       [6, 7, 8]])

target[:-1, [0,2]]  #（最后一行之前，索引为0,2的列）
#Out: 
#array([[0, 2],
#       [3, 5]])

此外，还可利用np.ix_在对应的维度上使用布尔索引，但此时不能使用slice切片：

target[np.ix_([True, False, True], [True, False, True])]
#Out: 
#array([[0, 2],
#       [6, 8]])

target[np.ix_([1,2], [True, False, True])]
#Out: 
#array([[3, 5],
#       [6, 8]])

当数组维度为一维时，可直接进行布尔索引，而无需np.ix_:

new = target.reshape(-1)

new[new%2==0]
#Out: array([0, 2, 4, 6, 8])

四、常用函数

为方便理解，假设下述函数输入的数组都是一维的

where

是一种条件函数，可以指定不满足条件位置对应的填充值：

a = np.array([-1,1,-1,0])

np.where(a>0, a, 5) # 对应位置为True时填充a对应元素，否则填充5
#Out: array([5, 1, 5, 5])

nonzero，argmax，argmin

这三个函数返回的都是索引，nonzero返回非零的索引，argmax，argmin分别返回最大和最小数的索引：

a = np.array([-2,-5,0,1,3,-1])

np.nonzero(a)
#Out: (array([0, 1, 3, 4, 5], dtype=int64),)

a.argmax()
#Out: 4

a.argmin()
#Out: 1

any，all

any 指当序列至少存在一个 True 或非零元素时返回 True ，否则返回 False

all 指当序列元素全为 True 或非零元素时返回 True ，否则返回 False

a = np.array([0,1])

a.any()
#Out: True

a.all()
#Out: False

cumprod，cumsum，diff

cumprod, cumsum 分别表示累乘和累加函数，返回同长度的数组， diff 表示和前一个元素做差，由于第一个元素为缺失值，因此在默认参数情况下，返回长度是原数组减1

a = np.array([1,2,3])

a.cumprod()
#Out: array([1, 2, 6])

a.cumsum()
#Out: array([1, 3, 6])

np.diff(a)
#Out: array([1, 1])

统计函数

常用的统计函数包括 max, min, mean, median, std, var, sum, quantile ，其中分位数计算是全局方法，因此不能通过 array.quantile 的方法调用：

target = np.arange(5)

target
#Out: array([0, 1, 2, 3, 4])

target.max()
#Out: 4

np.quantile(target, 0.5) # 0.5分位数
#Out: 2.0

但是对于含有缺失值的数组，它们返回的结果也是缺失值，如果需要略过缺失值，必须使用 nan* 类型的函数，上述的几个统计函数都有对应的 nan* 函数。

target = np.array([1, 2, np.nan])

target
#Out: array([ 1.,  2., nan])

target.max()
#Out: nan

np.nanmax(target)
#Out: 2.0

np.nanquantile(target, 0.5)
#Out: 1.5

对于协方差和相关系数分别可以利用 cov, corrcoef 计算：

target1 = np.array([1,3,5,9])

target2 = np.array([1,5,3,-9])

np.cov(target1, target2)
#Out: 
#array([[ 11.66666667, -16.66666667],
#       [-16.66666667,  38.66666667]])

np.corrcoef(target1, target2)
#Out: 
#array([[ 1.        , -0.78470603],
#       [-0.78470603,  1.        ]])

最后，需要说明二维 Numpy 数组中统计函数的 axis 参数，它能够进行某一个维度下的统计特征计算，当 axis=0 时结果为列的统计指标，当 axis=1 时结果为行的统计指标：

target = np.arange(1,10).reshape(3,-1)

target
#Out: 
#array([[1, 2, 3],
#       [4, 5, 6],
#       [7, 8, 9]])

target.sum(0)
#Out: array([12, 15, 18])

target.sum(1)
#Out: array([ 6, 15, 24])

五、广播机制

广播机制用于处理两个不同维度数组之间的操作，这里只讨论不超过两维的数组广播机制。

标量和数组的操作

当一个标量和数组进行运算时，标量会自动把大小扩充为数组大小，之后进行逐元素操作：

res = 3 * np.ones((2,2)) + 1

res
#Out: 
#array([[4., 4.],
#       [4., 4.]])

res = 1 / res

res
#Out: 
#array([[0.25, 0.25],
#       [0.25, 0.25]])

二维数组之间的操作

 当两个数组维度完全一致时，使用对应元素的操作，否则会报错，除非其中的某个数组的维度是 m×1 或者 1×n ，那么会扩充其具有 1 的维度为另一个数组对应维度的大小。例如， 1×2 数组和 3×2 数组做逐元素运算时会把第一个数组扩充为 3×2 ，扩充时的对应数值进行赋值。但是，需要注意的是，如果第一个数组的维度是 1×3 ，那么由于在第二维上的大小不匹配且不为 1 ，此时报错。

res = np.ones((3,2))

res
#Out: 
#array([[1., 1.],
#       [1., 1.],
#       [1., 1.]])

res * np.array([[2,3]]) # 第二个数组扩充第一维度为3
#Out: 
#array([[2., 3.],
#       [2., 3.],
#       [2., 3.]])

res * np.array([[2],[3],[4]]) # 第二个数组扩充第二维度为2
#Out: 
#array([[2., 2.],
#       [3., 3.],
#       [4., 4.]])

res * np.array([[2]]) # 等价于两次扩充，第二个数组两个维度分别扩充为3和2
#Out: 
#array([[2., 2.],
#       [2., 2.],
#       [2., 2.]])

一维数组与二维数组的操作

 当一维数组 Ak 与二维数组 Bm,n 操作时，等价于把一维数组视作 A1,k 的二维数组，使用的广播法则与【b】中一致，当 k!=n 且 k,n 都不是 1 时报错。

np.ones(3) + np.ones((2,3))
#Out: 
#array([[2., 2., 2.],
#       [2., 2., 2.]])

np.ones(3) + np.ones((2,1))
#Out: 
#array([[2., 2., 2.],
#       [2., 2., 2.]])

np.ones(1) + np.ones((2,3))
#Out: 
#array([[2., 2., 2.],
#       [2., 2., 2.]])

六、向量与矩阵的计算

向量内积：dot

a = np.array([1,2,3])

b = np.array([1,3,5])

a.dot(b)
#Out: 22

向量范数与矩阵范数：np.lianlg.norm

在矩阵范数的计算中，最重要的是ord参数，可选值如下：

matrix_target =  np.arange(4).reshape(-1,2)

matrix_target
#Out: 
#array([[0, 1],
#       [2, 3]])

np.linalg.norm(matrix_target, 'fro')
#Out: 3.7416573867739413

np.linalg.norm(matrix_target, np.inf)
#Out: 5.0

np.linalg.norm(matrix_target, 2)
#Out: 3.702459173643833
vector_target =  np.arange(4)

vector_target
#Out: array([0, 1, 2, 3])

np.linalg.norm(vector_target, np.inf)
#Out: 3.0

np.linalg.norm(vector_target, 2)
#Out: 3.7416573867739413

np.linalg.norm(vector_target, 3)
#Out: 3.3019272488946263

矩阵乘法：@

a = np.arange(4).reshape(-1,2)

a
#Out: 
#array([[0, 1],
#       [2, 3]])

b = np.arange(-4,0).reshape(-1,2)

b
#Out: 
#array([[-4, -3],
3       [-2, -1]])

a@b
#Out: 
#array([[ -2,  -1],
#       [-14,  -9]])

之乎者也337
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
pandas 转化np数据_数据处理进阶pandas入门（十）
weixin_39577052的博客
01-04 238
回顾 在数据处理进阶pandas入门(九)中，我们介绍了时间序列TimeSeries和时间范围的相关内容。今天我们来看一下时间序列的重采样。重采样resample 时间序列的重采样指的是将时间序列从一个频率转换为另一个频率的过程，并且常常会伴随有数据的结合。重采样分为降采样和升采样两种。 降采样：高频数据-低频数据。例如，将一个以天为频率的时间序列转化为以月为频率的时间序列。 升采样：低频数据-高...
pandas数据结构：Series/DataFrame；python函数：range/arange
weixin_34160277的博客
08-06 162
1. Series 　　Series 是一个类数组的数据结构，同时带有标签（lable）或者说索引（index）。 　　1.1 下边生成一个最简单的Series对象，因为没有给Series指定索引，所以此时会使用默认索引(从0到N-1)。 # 引入Series和DataFrameIn [16]: from pandas import Series,DataFrame ...
python学习——pandas数据处理 &amp； 时间序列案例 &amp； matplotlib绘图案例_pandas matplotlib
最新发布
2401_84731999的博客
05-10 715
现在我们有2015到2017年25万条911的紧急电话的数据，请统计出出这些数据中不同类型的紧急情况的次数，如果我们还想统计出不同月份不同类型紧急电话的次数的变化情况，应该怎么做呢？重采样：指的是将时间序列从一个频率转化为另一个频率进行处理的过程，将高频率数据转化为低频率数据为降采样，低频率转化为高频率为升采样。处理方式2：填充数据，t.fillna(t.mean()),t.fiallna(t.median()),t.fillna(0)元组里面是（索引(分组的值)，分组之后的DataFrame）
Python更改数据类型——astype()方法和to_numeric()函数
热门推荐
Jormungand_V的博客
11-19 4万+
文章目录明确指定数据的类型通过dtypes属性进行查看创建Pandas对象指定数据类型转换数据类型通过astype()方法强制转换数据的类型 明确指定数据的类型 通过dtypes属性进行查看 import pandas as pd df = pd.DataFrame({'A': ['1', '2', '4'], 'B': ['9', '-80', '5.3'], 'C': ['x', '5.9', '0']}) print("d
Pandas 数据分析 实用小技巧（三）
NT的博客
12-24 300
Pandas 数据分析 实用小技巧（三） 小技巧 10：如何快速拿到数据最多的 3 个分类？ 读入数据： df = pd.read_csv("IMDB-Movie-Data.csv") df 1000 行数据，genre 取值的频次统计如下： vc = df["genre"].value_counts() vc 筛选出 top3 的 index: top_genre = vc[0:3].index print(top_genre) 打印结果： Index(['Action,Adventure,Sci
python 中arange函数_pandas数据结构：Series/DataFrame；python函数：range/arange
weixin_39734458的博客
11-25 942
1. SeriesSeries 是一个类数组的数据结构，同时带有标签（lable）或者说索引（index）。1.1 下边生成一个最简单的Series对象，因为没有给Series指定索引，所以此时会使用默认索引(从0到N-1)。# 引入Series和DataFrameIn [16]: from pandas import Series,DataFrameIn [17]: import pandas ...
利用Python进行数据分析——基础示例
01-27
在数据分析领域，Python是一种强大的工具，它提供了丰富的库如Pandas、NumPy和Matplotlib，使得数据清洗、处理和可视化变得高效且易于理解。本文将以一个基础示例讲解如何使用Python进行数据分析，主要涉及以下几个...
1 Python数据分析——pandas——series01
12-21
在Python数据分析领域，pandas库是不可或缺的一部分，它提供了一...掌握这些基本概念和操作是进行高效Python数据分析的基础。在实际应用中，我们需要灵活运用这些知识来处理和分析复杂的数据集，从而得出有价值的洞察。
Python Analysis —— Numpy 和 Pandas 实际应用.html
06-09
Python Analysis —— Numpy 和 Pandas 实际应用
python数据分析复盘——数据分析相关库之Pandas
02-25
Pandas是Python第三方库，提供高性能易用数据类型和分析工具Pandas基于NumPy实现，常与NumPy和Matplotlib一同使用Series类型可以由如下类型创建：1.Python列表2.标量值3.Python字典4.ndarray5.其他函数，range()等...
pandas（pd）数据的一些操作（ np数据转成pd数据、pd数据保存csv文件）
知识搬运者
08-20 752
【代码】pandas（pd）数据的一些操作（ np数据转成pd数据、pd数据保存csv文件）
pandas；pd.read.csv()；np.arange()
Yidian_的博客
02-12 753
pandas是基于NamPy(python数据包)的数据分析工具，当你有一个大的数据集类似2G这样的，不能用excel打开一次性读取完，这时候就要用到pa. read. csv()分块读取。 其中: 1.filepath_or_buffer: 读取文件的路径URL； 2.header=0是表格没有列名，否则用使header=None； 3.read_csv()中有一个chunksize参数...
方法的参数是二维数组
weixin_46143360的博客
10-05 151
方法的参数是二维数组 public class ArrayTest { public static void main(String[] args) { //二维数组 int [] [] a ={{65,76,2,12},{23,45,5},{12,23,4}}; Array(a); } public static void Array(int[][] a){ for (int i = 0; i <a.
原生js:使用map处理getElementsByTagName返回值,并且操作dom时使“感叹号important“生效
qq_35306736的博客
09-27 1061
为什么document.getElementsByTagName返回的值无法使用数组方法map，因为 getElementsByTagName返回的是一个类数组对象NodeList 类js数组无法直接使用数组的方法map，需要通过Array.from转换成js数组。 【不知出于何种原因】无法直接Array.from(document.getElementsByTagName('img')); 需要拆分下拉写。 例子： let a = document.getElementsByT...
pandas库
weixin_45014721的博客
08-19 424
import pandas as pd (1)Series类型 1.简介 2.如何创建一个Series类型 ①从标量中创建 ②从字典中创建 ③从ndarray中创建 3.Series类型的基本操作
pandas的操作汇总
阿斯达克
07-16 805
pandas操作1、读取数据pd.read_csv()pd.read_excel() 1、读取数据 pd.read_csv() 主要参数 pd.read_csv(filepath，header=None) filepath：文件地址，相对地址或者绝对地址 header：默认为None，即认为文件么有列名，会从0开始自定义列名 pd.read_excel() 主要参数： filepath：文件地址 sheet_name：数可以接收的有：str，int，list或None，默认0 整数用于零索引工作表位置
The Pilots Brotrefrigeratorhers
pokerfacecyf的博客
09-15 168
题目描述 思路： 该题同Flip Game基本一致，不同点在于需要将改变的数据进行存储。那么主要的方法是建立三个数组，一个数组用于存储原始数据，一个数组用于临时存储改变后的数据，一个数组用于当本次结果小于前面结果时存储并最后输出。 #include <cstdio> #include <iostream> using namespace std; int n=0x7fffffff,a[4][4],b[2][16],c[2][16];//a用于存储原本数据，b用于暂时存储改变的数据，c
pandas 转化np数据_python，numpy，pandas数据处理之小技巧
weixin_39608478的博客
02-02 1509
今日是端午4天假期的最后一天，自己的2台电脑一台在处理数据，另一台电源适配器也坏掉了。感觉闲来无事，在此就简单聊聊numpy和pandas的各种冷知识、小技巧和疑难杂症。个人觉得关于这里就着重聊聊一些使用过程中常用到但教科书里找不着的问题，省的各位朋友还跑去stackoverflow找答案。问题一、dataframe里面.values，.iloc，.ix，.loc的区别？只有values是将原本d...
Python-建模分析师之硬技能 Python数据分析基础 机器学习numpy和pandas基础 共147页.pdf
05-22
"该资源是一份147页的PDF教程，主要针对Python在建模分析中的硬技能，特别是Python数据分析基础和机器学习，重点介绍了numpy和pandas库的使用。教程强调了学习态度和纪律性，并列出了课程要求。内容涵盖了Jupyter ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值