Numpy和Pandas的简单使用

最新推荐文章于 2024-03-24 13:21:15 发布
最新推荐文章于 2024-03-24 13:21:15 发布
阅读量965 收藏 43
点赞数 9
文章标签： 人工智能 Numpy Pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ncepu_Chen/article/details/88887063
版权

Numpy和Pandas的简单使用

Numpy

Numpy基本数据结构

  1. np.array()函数接受一个多维list,返回对应纬度的矩阵

    vector = np.array([1, 2, 3, 4])
matrix = np.array([[1, 2, 3], [4, 5, 6], [7, 8, 9]])

  2. 特殊矩阵:

    1. np.zeros((第一维size, 第二维size, ...)) 初始化全零矩阵,要求传入的是一个元组,存储各个维度上的尺寸.
    2. np.ones((第一维size, 第二维size, ...)) 初始化全一矩阵,要求传入的是一个元组,存储各个维度上的尺寸.
    3. np.arange(起点, 终点, 步长) 创建一个序列
    4. np.eye(size) 创建一个size*size的单位矩阵
    5. np.linspace(起点, 终点, 数列长度) 返回一个从起点到终点线性插值的长度为数列长度序列
    6. np.logspace(起点指数, 终点指数, 数列长度, base=底数) 返回从 底数起点指数 到底数终点指数的长度为数列长度的等比序列

Numpy基本操作和属性

  1. 一个矩阵中存储的数据类型应该相同,其dtype属性返回矩阵中元素的数据类型
    使用astype(类型)方法安全地改变元素的数据类型.

    vector = numpy.array(["1", "2", "3", "4"])	# ['1' '2' '3' '4']
vector = vector.astype(float)				# [1. 2. 3. 4.]

  2. 矩阵对象的shape属性返回矩阵的形状,即其各维度上的尺寸.

    1. 使用reshape(new_shape) 方法更改重整原矩阵的形状,若传入某个维度上尺寸的为-1,则根据其他维度的尺寸反推此维度的尺寸.

      matrix = np.arange(6).reshape(-1, 3)	# 得到 [[0 1 2] [3 4 5]]

    2. 使用resize(new_shape)方法返回一个新矩阵.

      matrix = np.arange(6).resize(-1, 3)	# 得到 [[0 1 2] [3 4 5]]

    值得注意的是,reshape()方法在原矩阵上进行修改;resize()方法不修改原矩阵,而是返回一个新矩阵.

    1. 使用ravel()方法将高维矩阵拉伸成一维向量

      matrix = np.arange(6).reshape(-1, 3)
matrix = matrix.ravel()					# 得到 [0 1 2 3 4 5]

  3. Numpy矩阵支持下标索引与切片,与python的list类似

    matrix = numpy.array([[5,10,15], [20,25,30], [35,40,45]])
matrix[:,1]		# 得到[10 25 40]
matrix[:,0:2]	# 得到[[5 10] [20 25] [35 40]]
matrix[1:3,:2]	# 得到 [[20 25] [35 40]]

    Numpy矩阵的reshape()和切片并不返回新矩阵,只是更改了原矩阵的一个视图(view),对新视图进行的修改也会作用在原视图上(这与Python原生列表的切片是不同的).可以使用对象的copy()方法进行深拷贝,从而避免在原对象上进行修改.

  4. Numpy矩阵支持比较运算符, 返回一个与原矩阵尺寸相同的bool矩阵,存储对对应为进行判断的结果

    print(matrix == 10)	# 得到 [[False  True False] [False False False] [False False False]]
print(matrix > 10)	# 得到 [[False False  True] [ True  True  True] [ True  True  True]]

    与MATLAB类似,可以用矩阵比较运算的结果来索引矩阵

    matrix[matrix>10]=10	# 得到 [[ 5 10 10] [10 10 10] [10 10 10]]

  5. 求最值和求和

    • 使用min(axis=维度), max(axis=维度), sum(axis=维度) 分别返回数组在某维度上的最小值,最大值和求和

      matrix = np.arange(9).reshape((3, 3))
matrix.min(axis=1)		# array([0, 3, 6]) 
matrix.max(axis=1)		# array([2, 5, 8])
matrix.sum(axis=1)		# array([3, 12, 21])

      值得注意的是,min(),max(),sum()方法会对原矩阵进行降维(例如上面例子中将原本的二维矩阵变为一维向量),这可能会引起bug.
      若要保持矩阵原本的形状不变,只需将keepdims参数设为True即可.

    • 使用argmin(axis=维度), argmax(axis=维度)可以得到最值在原矩阵中对应的索引.

  6. 排序

    1. numpy.sort(矩阵, axis=维度)返回对矩阵对应维度进行排序后的矩阵,注意返回的是一个新矩阵,而原矩阵不改变
    2. numpy.argsort(矩阵, axis=维度)返回排序后矩阵每个位置的元素在原矩阵中对应的索引.

Numpy矩阵运算

  1. 加减法:

    1. 相同维度矩阵加减,对应位置元素相加减

      a1 = np.array([20,30,40,50])	# 得到 [20 30 40 50]
a2 = np.arange(4)				# 得到 [0 1 2 3]
a3 = a1 - a2					# 得到 [20 29 38 47]

    2. 矩阵加减某个标量,则对每个元素都加减这个标量

      a1 = np.array([20,30,40,50])	# 得到 [20 30 40 50]
a2 = a1-1						# 得到 [19 29 39 49]

  2. 矩阵乘法:

    1. 相同维度矩阵使用*运算符,返回尺寸相同的新矩阵,其存储的是对应位置元素相乘结果
    2. 使用矩阵1.dot(矩阵2)或np.dot(矩阵1,矩阵2)计算矩阵点乘
    A = np.array([[1,1],[0,1]])
B = np.array([[2,0],[3,4]])
# 矩阵对应位置相乘
print(A*B)			# 得到 [[2 0] [0 4]]
# 矩阵点乘两种写法
print(A.dot(B))		# 得到 [[5 4] [3 4]]	
print(np.dot(A,B))	# 得到 [[5 4] [3 4]]

  3. 乘方操作: 对矩阵每个元素进行乘方操作

    A = np.arange(5)
A = A ** 2		# 得到 [0 1 4 9 25]

  4. 矩阵拼接:

    • 使用tile(矩阵,(第一维倍数, 第二维倍数, ...))方法将矩阵对应尺寸上延展对应倍数

      matrix = np.arange(2)
matrix = np.tile(matrix,(1,3))	# 得到 [[0 1 0 1 0 1]]
matrix = np.tile(matrix,(3,1))	# 得到 [[0 1] [0 1] [0 1]]

    • 使用vstack([被拼接的矩阵列表])和hstack([被拼接的矩阵列表])可以将对应方向上维度相同的矩阵横向或纵向拼接

      a = np.array([1, 2, 3])
b = np.array([2, 3, 4])
np.vstack((a,b))		# 得到 array([[1, 2, 3], [2, 3, 4]])

      a = np.array([[1],[2],[3]])
b = np.array([[2],[3],[4]])
np.hstack((a,b))		# 得到 array([[1, 2], [2, 3], [3, 4]])

  5. 矩阵的转置,行列式,求逆
    使用.T属性求矩阵的转置
    使用np.linalg.inv(矩阵)求矩阵的逆
    使用np.linalg.det(矩阵)求矩阵的行列式

    matrix = np.arange(1,5).reshape(2,2)
# 求矩阵转置
print(matrix.T)					# 得到 [[1 3] [2 4]]
# 求矩阵的逆
print(np.linalg.inv(matrix))	# 得到 [[-2. 1. ] [ 1.5 -0.5]]
# 求矩阵的行列式
print(np.linalg.det(matrix))	# 得到 -2.0000000000000004

Pandas

pandas数据读取

使用pandas的read_csv()方法读取csv数据,读取到的数据将会被包装成一个DataFrame对象.

food_info = pd.read_csv("food_info.csv")
type(food_info)		# pandas.core.frame.DataFrame
food_info.dtypes	# DataFrame中包含的每个对象都被看成Numpy对象

food_info.columns.tolist()	# 得到所有列名
food_info.values.tolist()	# 以np.array形式返回其内容

pandas数据展示

  1. 调用DataFrame对象的head(行数)方法显示前行数行,tail(行数)方法显示前head行.

    food_info.head()	# 显示前5行
food_info.head(3)	# 显示前3行
food_info.tail()	# 显示后5行

  2. 调用DataFrame对象的shape()方法返回其矩阵形状

    food_info.shape		# (8618, 36)

  3. 调用DataFrame对象的loc[行数]属性取第行数行,行数可以是一个int数或一个列表

    • 若行数为一个int数字,则返回一个Series对象
    • 若行数为一个列表,则返回一个DataFrame对象
    type(food_info.loc[[0]])	# pandas.core.frame.DataFrame
type(food_info.loc[0])		# pandas.core.series.Series

    food_info.loc[3:5]
food_info.loc[[2,5,10]]

  4. 对DataFrame对象使用下标索引可以返回某几列

    • 若传入一个索引值,则返回一个Series对象
    • 若传入一个索引列表,则返回一个DataFrame对象
    ndb_col = food_info["NDB_No"]	
zinc_copper_col = food_info[["Zinc_(mg)", "Copper_(mg)"]]
type(ndb_col)			# pandas.core.series.Series
type(zinc_copper_col)	# pandas.core.frame.DataFrame

Pandas数据处理

  1. 对DataFrame对象进行加减乘除,等价于对其每一个元素进行加减乘除

    div_100 = food_info["Iron_(mg)"] / 100
add_100 = food_info["Iron_(mg)"] + 100
sub_100 = food_info["Iron_(mg)"] - 100
mult_100 = food_info["Iron_(mg)"] * 100

    例子: 计算加权指标

    # Score = 2*(protein_(g))-0.75*(Lipid_Tot_(g))
weighted_protein = food_info["Protein_(g)"] * 2
weighted_fat = -0.75 * food_info["Lipid_Tot_(g)"]
initial_rating = weighted_protein + weighted_fat

  2. 取最值,平均值: max(),min(),mean(),Pandas会自动剔除不存在的坏值

    # 使用max()取最大值
max_calories = food_info["Energ_Kcal"].max()
mean_calories = food_info["Energ_Kcal"].mean()

    例子: 归一化数据并将其作为新行

    normalized_protein = food_info["Protein_(g)"] / food_info["Protein_(g)"].max()
normalized_fat = food_info["Lipid_Tot_(g)"] / food_info["Lipid_Tot_(g)"].max()
food_info["Normalized_Protein"] = normalized_protein 
food_info["Normalized_Fat"] = normalized_fat

  3. 排序
    sort_value()方法将所有行按值排序
    sort_index()方法将所有行按索引排序

    # 第一个参数: 排序的键
# inplace: 是否直接替换原对象
# ascending: 升序与否
food_info.sort_values("Sodium_(mg)", inplace=True)
food_info.sort_values("Sodium_(mg)", inplace=True, ascending=False)

  4. 数据透视表

    titanic_surival = pd.read_csv("titanic_train.csv")

    使用pivot_table()函数生成数据透视表,其参数如下

    • index:指定以哪个指标为基准进行统计
    • values:统计的字段,可以为索引,也可以为索引列表
    • aggfunc:对统计字段的值应用的方法,默认取平均值,即np.mean()
    # 统计不同船舱的获救概率
passenger_survival = titanic_surival.pivot_table(index="Pclass", values="Survived", aggfunc=np.mean)
# 统计不同船舱的年龄
passenger_age = titanic_surival.pivot_table(index="Pclass", values="Survived")
# 统计每个港口的 总票价 和 总获救人数
port_stats = titanic_surival.pivot_table(index="Embarked", values=["Fare", "Survived"], aggfunc=np.sum)

  5. 删除空值
    使用dropna()来删除带有空值的行或列,其参数列表如下

    • axis:维度,取0删除有空值的列,取1删除有空值的行
    • subset:删除掉subset字段有空值的行
    # 删除掉所有有空值的列, axis=1
drop_na_columns = titanic_surival.dropna(axis=1)   

# 删除掉所有["Age"或"Sex"字段]有空值的行
new_titanic_survival = titanic_surival.dropna(axis=0, subset=["Age", "Sex"])

  6. 重新建立索引
    使用reset_index方法来重新建立索引

    new_titanic_survival = titanic_surival.sort_values("Age", ascending=False)
# 将数据集按照当前顺序重新建立索引,drop代表放弃原来索引
titanic_reindexed = new_titanic_survival.reset_index(drop=True)

  7. DataFrame对象的apply(函数)方法可以对数据每一列都执行自定义函数,并将结果汇总到一个Series对象中.

    # 返回每一列的第100名
def hundredth_row(column):
    # Extract the hundredth item
    hundredth_item = column.loc[99]
    return hundredth_item

# 对每个字段返回其第100位,下一行等价于 titanic_surival.loc[99]
hundredth_row = titanic_surival.apply(hundredth_row)

    # 统计每一列的空值个数
def not_null_count(column):
    column_null = pd.isnull(column)
    null = column[column_null]
    return len(null)
    
# 对每个字段返回其空值个数 
column_null_count = titanic_surival.apply(not_null_count)

    # 对每一行的Pclass字段编码
def which_class(row):
    pclass = row["Pclass"]
    if pd.isnull(pclass):
        return "Unknown"
    elif pclass == 1:
        return "First Class"
    elif pclass == 2:
        return "Second Class"
    elif pclass == 3:
        return "Third Class"
    
# 返回每一行的Pclass字段的编码
classes = titanic_surival.apply(which_class, axis=1)

Pandas的基本数据结构:DataFrame和Series

DataFrame和Series为Pandas最重要的两种结构,其中Series类似于一维向量,而DataFrame类似于二维矩阵.
Series可以看作是Numpy对象的集合,DataFrame可以看作是Series的集合

fandango = pd.read_csv('fandango_score_comparison.csv')

# 对DataFrame进行索引取值得到Series
series_film = fandango['FILM']
type(series_film)	# pandas.core.series.Series

可以使用Series()构造函数生成Series对象,index参数指定索引

from pandas import Series

film_names = fandango['FILM'].values	# 得到所有电影名字
rt_scores = series_rt.values			# 得到所有评分值

# 以电影名字为索引,将电影评分构成一个Series
series_custom = Series(rt_scores, index=film_names)

# 这样可以以电影名为索引找到电影
series_custom[['Minions (2015)', 'Leviathan (2014)']]

series的底层实现用的是np.ndarray,因此series对象可以替代ndarray作为函数参数

np.add(series_custom, series_custom)
np.sin(series_custom)
np.max(series_custom)
ncepu_Chen
关注
Python学习(三)之Numpy与Pandas的使用
糊里糊涂走进大数据的小菜鸡
12-15 4645
文章目录1 Numpy简单使用1.1 Numpy介绍1.2 基本使用2 Pandas数据分析2.1 Pandas介绍Pandas基本使用 1 Numpy简单使用 1.1 Numpy介绍 1 Numpy 是一个专门用于矩阵化运算、科学计算的开源Python 2 NumPy将Python相当于变成一种免费的更强大的Matlab系统： 强大的 ndarray 多维数组结构 成熟的函数库 用于整合C/C++和Fortran代码的工具包 实用的线性代数、傅里叶变换和随机数模块 Numpy 和稀疏矩阵运算包scip
Numpy，Pandas使用
youyoudao
03-20 318
扁平化 ravel flatten aqueeze reshape(-1) 的区别 squeeze : 只能对维数为1的维度降维 a= np.arange(6.).reshape((2,3)) print(a.squeeze()) print(a) [[0. 1. 2.] [3. 4. 5.]] [[0. 1. 2.] [3. 4. 5.]] a= np.arange(6.).res...
Numpy&pandas基本使用方法(机器学习入门)
zjjaibc的博客
07-07 5207
Numpy&pandas基本使用方法(机器学习入门)
Python数据分析快速入门--NumPy & Pandas
weixin_48320524的博客
06-23 1454
之前为大家分享了python的基本语法，有疑问的小伙伴可以参考下文～ 土豆爱数学：零基础如何快速入门python​zhuanlan.zhihu.com 对python基本语法了解后，就可以尝试用python进行数据分析了。python在数据分析领域用到最多是包numpy、pandas 和 matplotlib： numpy是用于科学计算，比如线性代数中的矩阵计算（在机器学习中非常有用）； pandas是基于numpy的数据分析工具，该工具是为了解决数据分析任务而创建的，它提供了一套名为数据框data
numpy和pandas的基础用法
weixin_43580807的博客
07-13 895
numpy和pandas的基础用法numpynumpy创建arraynumpy的属性numpy的基础运算numpy的索引numpy的合并numpy的分割numpy的copy和deepcopypandaspandas的基本介绍pandas选择数据pandas设置值 numpy numpy创建array import numpy as np a = np.array([[1,2,3], [2,3,4]],dtype = np.int32) #不加32默认是64位的，这一句是在给矩
python numpy pandas_python中Numpy和Pandas模块的详细介绍（附示例）
weixin_39788451的博客
11-20 777
本篇文章给大家带来的内容是关于python中Numpy和Pandas模块的详细介绍（附示例），有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。本章学习两个科学运算当中最为重要的两个模块，一个是 numpy,一个是 pandas。任何关于数据分析的模块都少不了它们两个。一、numpy & pandas特点NumPy（Numeric Python）系统是Python的一种开源的数值计算扩...
机器学习numpy和pandas基础,numpy和pandas学哪个,Python
09-10
在机器学习中，numpy和pandas通常结合使用。首先，数据通常会被导入到pandas的DataFrame中进行预处理，包括数据清洗、特征选择和特征工程。然后，这些预处理后的数据可能被转换成numpy的ndarray，因为许多机器学习库...
Numpy与Pandas库使用教学PPT（共87P）
01-08
Numpy与Pandas库使用教学PPT（共87P），详细介绍了python最常用的两个库数值计算库numpy和数据表计算库pandas-号称python中的excel，实际上它的功能远高于excel，掌握好这两个库，打好基础，后面的python金融、...
numpy与pandas基本使用
weixin_45639174的博客
11-05 283
1、numpy模块使用 # 基本操作类似于列表，支持sort(), max(), min()及切片[起始下标:结束下标(不包含):步长]等 import numpy # 创建一维数组 x = numpy.array([mem1, mem2, mem3]) # 创建二维数组 y = numpy.array([[mem1, mem2, mem3...], [mem4, mem5, mem6...]...
人工智能三剑客:numpy和Pandas和Matplotlib练习教程
04-20
"第3章：Pandas"将介绍如何使用DataFrame和Series进行数据处理，以及Pandas的高级特性，如数据清洗和聚合。而"第4章：Matplotlib"则会教授如何利用Matplotlib进行数据可视化，帮助你将复杂的数据以直观的形式展现...
numpy和pandas
qq_40497403的博客
09-03 392
numpy的常用属性和矩阵的创建： import numpy as np #numpy的一些属性 array=np.array([[1,2,3],[4,5,6]]) #通过这个方法，我们可以将列表变成数组的形式 print(array) print('number of dim',array.ndim) #ndim属性告诉你数组是几维数组 print('shape:',array.s...
Numpy与Pandas
felixour的博客
08-23 1137
我们来讲一讲Numpy与Pandas的基本使用方法。首先来讲一下Numpy，Numpy提供了一些非常有用的统计函数，比如Mean(numpy.mean)、Median(numpy.median)以及Standard deviation(numpy.std)。import numpy as np''' 下面的代码能帮助你使用Numpy，当你需要使用向量与数组的运算时，比如数组乘法，Numpy是很好的选
Numpy和Pandas的区别
热门推荐
小王子博客
04-27 4万+
一、区别Numpy:是数值计算的扩展包，它能高效处理N维数组,复杂函数,线性代数. Panadas:是做数据处理。市python的一个数据分析包,二、简介 1）NumPy：N维数组容器 Numpy专门针对ndarray的操作和运算进行了设计，所以数组的存储效率和输入输出性能远优于Python中的嵌套列表，数组越大，Numpy的优势就越明显。Numpy系统是Python的一种开源的数值计算扩展。...
Numpy+pandas(二)
qq_32037669的博客
10-01 394
                                           Pandas快速入门 一.Pandas基本介绍 1.Numpy和Pandas的异同      如果用 python 的列表和字典来作比较, 那么可以说 Numpy 是列表形式的，没有数值标签，而 Pandas 就是字典形式。Pandas是基于Numpy构建的，让Numpy为中心的应用变得更加简单。要使用pa...
pandas中使用numpy
weixin_49487589的博客
03-30 697
81.导入并查看pandas与numpy版本 import pandas as pd import numpy as np print(np.__version__) print(pd.__version__) 82.从NumPy数组创建DataFrame #随机数 temp_1 = np.random.randint(1,100,20) df1 = pd.DataFrame(temp_1) df1 83.从NumPy数组创建DataFrame #固定步长数 temp_2 = np.arange(0
python学习教程之Numpy和Pandas的使用
09-21
Python中的Numpy和Pandas是两个非常重要的数据分析和科学计算库。Numpy是Python的基础库，专注于高效处理大型多维数组和矩阵。...无论是新手还是经验丰富的开发者，掌握Numpy和Pandas的使用都是至关重要的。
numpy以及pandas的具体使用
zz_zss的博客
07-04 469
numpy方法的使用 numpy方法：快速，方便，科学计算的基础库，重在数值计算，多用于大型，多维数组上执行数值运算 import numpy as np np.arange方法 np.array(range(10)) = np.arange(10) a=np.arange(24) #创建数组 array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23]) a
科学计算利器：Numpy与Pandas快速上手
最新发布
meijinbo的专栏
03-24 1549
这只是一个简单的示例，实际数据分析过程中可能还需要进行更深入的数据清洗、特征选择、模型调优等步骤。Pandas是Python数据分析的主力库，以其灵活的数据框（DataFrame）对象和丰富的数据处理函数，极大简化了数据清洗、转换和分析工作。Numpy是Python科学计算库中的基石，以其高效的多维数组对象（ndarray）和丰富的数学函数库，为数值计算提供了强大支持。列中的数据类型转换为整数，前提是该列中不再包含缺失值或其他非整数类型的数据。函数将删除包含任何缺失值的行，所以ID为5和7的行将被移除。
Python第三方库Numpy & Pandas
qq_42375376的博客
01-13 2044
NumPy和Pandas都是Python的第三方库，但是它们的应用场景不同。主要用于处理数值数据，提供了数组来容纳数据，支持并行计算，底层使用C语言编写，效率高。主要用于处理类表格数据，提供了和数据结构，能够处理不同类型的数据，支持数字索引和标签索引，是专门为处理表格和混杂数据设计的。NumPy适合处理统一的数组数据，而Pandas更适合处理结构化数据。总之，Numpy与Pandas库是数据分析的两大利器。
pandas和numpy
u011937496的博客
11-23 4176
1、numpy的核心数据结构是ndarray，支持任意维数的数组，但要求单个数组内所有数据是同质的，即类型必须相同；pandas是基于numpy数组构建的，它的核心数据结构是series和dataframe，仅支持一维和二维数据，但数据内部可以是异构数据，仅要求同列数据类型一致即可。numpy的数据结构仅支持数字索引，而pandas数据结构则同时支持数字索引和标签索引。2、numpy用于数值计算，pandas主要用于数据处理与分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值