Python 科学计算：利用 NumPy 加速数值运算

最新推荐文章于 2024-05-30 11:43:13 发布
最新推荐文章于 2024-05-30 11:43:13 发布
阅读量898 收藏 19
点赞数 24
文章标签： python numpy
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YPY15947274155/article/details/139016925
版权

Python 科学计算：利用 NumPy 加速数值运算

1. 引言

浩瀚的宇宙、复杂的流体、金融市场的波动，这些现象都蕴藏着海量的数据和复杂的规律。为了探索这些奥秘，科学家和工程师们需要借助计算机进行模拟、分析和预测。Python，以其简洁易懂的语法和丰富的第三方库，成为了科学计算领域的一把利器。然而，作为解释型语言，Python 本身执行效率的局限性，尤其在处理大规模数值运算时，性能可能成为瓶颈。

NumPy (Numerical Python) 应运而生，成为了 Python 科学计算的基石。它提供了高性能的多维数组对象 (ndarray) 和丰富的函数，能够显著提升数值运算速度。有了 NumPy，Python 就像插上了翅膀，可以更高效地处理海量数据，探索科学世界的奥秘。

2. NumPy 数组：高性能计算的基础

NumPy 数组 (ndarray) 是 Python 高性能计算的基础。与 Python 内置的列表不同，NumPy 数组具有以下特点：

  • 同质性: 数组中所有元素必须是相同的数据类型，例如整数、浮点数等。这种数据类型的统一性简化了数据存储，避免了类型检查的开销，并为向量化操作创造了条件。
  • 多维性: NumPy 数组可以表示向量、矩阵、多维张量等数据结构，为科学计算提供了灵活的数据表示形式，能够更自然地表达科学计算中的各种问题。
  • 高效的存储: NumPy 数组将数据存储在连续的内存块中，有利于 CPU 快速访问和处理数据，减少内存访问时间，从而提升运算速度。

2.1 NumPy 数组的创建

NumPy 提供了多种创建数组的方法，方便用户根据不同的需求生成数组：

  • 从列表或元组创建数组: np.array() 函数可以将 Python 列表或元组转换为 NumPy 数组。
import numpy as np

# 从列表创建数组
a = np.array([1, 2, 3, 4])
print(f"a: {a}")

# 从元组创建数组
b = np.array((5, 6, 7, 8))
print(f"b: {b}")

  • 使用 NumPy 函数创建特定类型的数组: NumPy 提供了许多函数用于创建特定类型的数组，例如：

    • np.zeros(): 创建全零数组
    • np.ones(): 创建全一数组
    • np.arange(): 创建等差数列
    • np.linspace(): 创建等间距数列
    • np.random.rand(): 创建均匀分布的随机数数组
    • np.random.randn(): 创建标准正态分布的随机数数组
import numpy as np

# 创建全零数组
a = np.zeros(5)
print(f"a: {a}")

# 创建全一数组
b = np.ones((2, 3))
print(f"b: \n{b}")

# 创建等差数列
c = np.arange(1, 10, 2)
print(f"c: {c}")

# 创建等间距数列
d = np.linspace(0, 1, 5)
print(f"d: {d}")

# 创建均匀分布的随机数数组
e = np.random.rand(3, 4)
print(f"e: \n{e}")

# 创建标准正态分布的随机数数组
f = np.random.randn(2, 2)
print(f"f: \n{f}")

2.2 NumPy 数组的属性

NumPy 数组拥有丰富的属性，可以帮助我们了解数组的特征：

  • shape: 数组的维度，例如 (2, 3) 表示 2 行 3 列的矩阵。
  • dtype: 数组元素的数据类型，例如 int32, float64 等。
  • size: 数组元素的总数。
  • ndim: 数组的维度数量。
  • itemsize: 每个数组元素的字节大小。
  • nbytes: 整个数组占用的字节数。
import numpy as np

a = np.array([[1, 2, 3], [4, 5, 6]])

print(f"a.shape: {a.shape}")
print(f"a.dtype: {a.dtype}")
print(f"a.size: {a.size}")
print(f"a.ndim: {a.ndim}")
print(f"a.itemsize: {a.itemsize}")
print(f"a.nbytes: {a.nbytes}")

2.3 高效存储：连续内存块与 strides 属性

NumPy 数组将数据存储在连续的内存块中，这种存储方式有利于 CPU 高效地访问和处理数据， 减少内存访问时间，从而提升运算速度。

strides 属性描述了数组在内存中的布局。它是一个元组，每个元素表示在每个维度上移动一个元素所需的字节数。例如，对于一个 (2, 3) 的二维数组，如果 strides 为 (24, 8)， 则表示：

  • 在第一个维度 (行) 上移动一个元素需要 24 个字节，因为每行有 3 个元素，每个元素占 8 个字节 (float64 类型)。
  • 在第二个维度 (列) 上移动一个元素需要 8 个字节，因为每个元素占 8 个字节。

理解 strides 属性可以帮助我们更好地理解 NumPy 数组的内存布局，从而编写更高效的代码。

import numpy as np

a = np.array([[1, 2, 3], [4, 5, 6]], dtype=np.float64)

print(f"a.strides: {a.strides}")

3. 向量化操作：加速数值运算的关键

向量化操作是 NumPy 高性能计算的核心。其本质是批量运算，即对整个数组进行操作，而不是逐个元素循环处理。向量化操作避免了 Python 循环的低效性，充分利用了 CPU 的并行处理能力， 例如 SIMD (Single Instruction Multiple Data) 指令集，同时对多个数据进行运算，大幅提升计算速度。

3.1 向量化操作的优势

  • 简洁的代码: 向量化操作通常只需一行代码，比传统 Python 循环更易读易写，例如 c = a + b 就可以完成两个数组的对应元素相加。
  • 高效的执行: NumPy 底层利用 CPU 并行处理能力，例如 SIMD (Single Instruction Multiple Data) 指令集，同时对多个数据进行运算，大幅提升计算速度。

3.2 丰富的向量化操作类型

NumPy 提供了丰富的向量化操作，涵盖了科学计算中常用的各种运算：

  • 算术运算: 加减乘除、幂运算、三角函数、指数函数、对数函数等。
import numpy as np

a = np.array([1, 2, 3, 4])
b = np.array([5, 6, 7, 8])

# 加法
c = a + b
print(f"a + b = {c}")

# 减法
c = a - b
print(f"a - b = {c}")

# 乘法
c = a * b
print(f"a * b = {c}")

# 除法
c = a / b
print(f"a / b = {c}")

# 幂运算
c = a ** 2
print(f"a ** 2 = {c}")

# 三角函数
c = np.sin(a)
print(f"sin(a) = {c}")

# 指数函数
c = np.exp(a)
print(f"exp(a) = {c}")

# 对数函数
c = np.log(a)
print(f"log(a) = {c}")
  • 逻辑运算: 比较运算、逻辑运算 (与、或、非)、掩码操作等。
import numpy as np

a = np.array([1, 2, 3, 4])
b = np.array([2, 2, 4, 4])

# 比较运算
c = a > b
print(f"a > b = {c}")

# 逻辑运算
c = (a > b) & (a < 4)
print(f" (a > b) & (a < 4) = {c}")

# 掩码操作
c = a[a > b]
print(f"a[a > b] = {c}")
  • 统计运算: 求和、平均值、方差、标准差、最大值、最小值、中位数、百分位数等。
import numpy as np

a = np.array([1, 2, 3, 4])

# 求和
sum_a = np.sum(a)
print(f"sum(a) = {sum_a}")

# 平均值
mean_a = np.mean(a)
print(f"mean(a) = {mean_a}")

# 方差
var_a = np.var(a)
print(f"var(a) = {var_a}")

# 标准差
std_a = np.std(a)
print(f"std(a) = {std_a}")

# 最大值
max_a = np.max(a)
print(f"max(a) = {max_a}")

# 最小值
min_a = np.min(a)
print(f"min(a) = {min_a}")
  • 线性代数运算: 矩阵乘法、矩阵求逆、行列式、特征值分解等。
import numpy as np

a = np.array([[1, 2], [3, 4]])
b = np.array([[5, 6], [7, 8]])

# 矩阵乘法
c = np.dot(a, b)
print(f"a . b = \n{c}")

# 矩阵求逆
c = np.linalg.inv(a)
print(f"inv(a) = \n{c}")

# 行列式
c = np.linalg.det(a)
print(f"det(a) = {c}")
  • 随机数生成: np.random 模块提供了各种随机数生成函数，例如均匀分布、正态分布、泊松分布等。
import numpy as np

# 均匀分布
a = np.random.rand(3, 4)
print(f"均匀分布随机数: \n{a}")

# 标准正态分布
b = np.random.randn(2, 2)
print(f"标准正态分布随机数: \n{b}")

3.3 向量化操作性能对比

为了更直观地展示向量化操作带来的性能提升，我们可以使用 %timeit 魔法函数对比向量化操作与 Python 循环的性能差异：

import numpy as np

a = np.random.rand(1000000)

# 向量化操作
%timeit np.sum(a)

# Python 循环
def sum_loop(x):
    sum = 0
    for i in x:
        sum += i
    return sum

%timeit sum_loop(a)

运行结果会显示向量化操作的执行时间远小于 Python 循环，证明了向量化操作在数值运算上的显著优势。

4. 广播机制：灵活处理不同形状的数组

NumPy 的广播机制允许对形状不同的数组进行运算。当两个数组形状不同时，NumPy 会自动扩展较小数组的维度，使其与较大数组匹配，从而实现运算。

广播机制的优势：

  • 简化代码，避免手动调整数组形状，提高代码可读性。

4.1 广播机制的规则

NumPy 广播机制遵循以下规则：

  1. 维度匹配: 从后往前比较两个数组的维度，如果维度兼容，则可以进行广播。维度兼容是指：
    • 两个维度相等。
    • 其中一个维度为 1。
  2. 维度扩展: 如果两个数组的维度不相等，则会将较小数组的维度扩展为与较大数组相同。扩展维度时，会复制数组元素，使其与较大数组对应。

4.2 广播机制的应用

以下是一些广播机制的例子：

  • 将标量与数组进行运算
import numpy as np

a = np.array([1, 2, 3, 4])
b = 2
c = a * b
print(f"a * b = {c}")

在这个例子中，标量 b 被广播为与 a 形状相同的数组 [2, 2, 2, 2]， 然后进行对应元素相乘。

  • 将向量与矩阵进行运算
import numpy as np

a = np.array([1, 2, 3])
b = np.array([[1, 2, 3],
              [4, 5, 6]])
c = a + b
print(f"a + b = \n{c}")

在这个例子中，向量 a 被广播为与 b 形状相同的矩阵 [[1, 2, 3], [1, 2, 3]]， 然后进行对应元素相加。

  • 将不同维度数组进行运算
import numpy as np

a = np.array([1, 2, 3])
b = np.array([[1],
              [2]])
c = a + b
print(f"a + b = \n{c}")

在这个例子中，a 的维度被扩展为 (1, 3)，b 的维度被扩展为 (2, 3)，然后进行对应元素相加。

4.3 广播机制的局限性

广播机制虽然方便，但也存在局限性：

  • 内存占用: 广播机制可能会导致内存占用过高，因为需要复制数组元素以进行维度扩展。
  • 性能损失: 维度扩展操作也会带来一定的性能损失。

因此，在使用广播机制时，需要谨慎考虑内存占用和性能影响，并在必要时手动调整数组形状，避免不必要的性能损失。

5. NumPy 高级特性

除了向量化操作和广播机制，NumPy 还提供了许多高级特性，方便用户进行更复杂的数据操作。

5.1 数组索引和切片

NumPy 数组支持类似 Python 列表的索引和切片操作，可以灵活地访问和修改数组元素。

import numpy as np

a = np.array([1, 2, 3, 4, 5])

# 访问元素
print(f"a[0]: {a[0]}")
print(f"a[2]: {a[2]}")

# 切片
print(f"a[1:4]: {a[1:4]}")
print(f"a[::2]: {a[::2]}")

# 多维数组索引和切片
b = np.array([[1, 2, 3], [4, 5, 6]])
print(f"b[0, 1]: {b[0, 1]}")
print(f"b[:, 1]: {b[:, 1]}")
print(f"b[1, :]: {b[1, :]}")

5.2 数组变形

NumPy 提供了多种函数用于改变数组的形状，例如：

  • reshape(): 将数组变形为新的形状，元素数量必须保持不变。
  • transpose(): 转置数组，交换数组的维度。
  • ravel(): 将多维数组展平成一维数组。
import numpy as np

a = np.array([1, 2, 3, 4, 5, 6])

# reshape
b = a.reshape((2, 3))
print(f"b: \n{b}")

# transpose
c = b.transpose()
print(f"c: \n{c}")

# ravel
d = b.ravel()
print(f"d: {d}")

5.3 数组合并和分割

NumPy 提供了多种函数用于将多个数组合并成一个数组，以及将一个数组分割成多个数组，例如：

  • concatenate(): 沿着指定轴连接数组。
  • stack(): 沿着新的轴堆叠数组。
  • split(): 将数组分割成多个子数组。
  • hsplit(): 水平分割数组。
  • vsplit(): 垂直分割数组。
import numpy as np

a = np.array([1, 2, 3])
b = np.array([4, 5, 6])

# concatenate
c = np.concatenate((a, b))
print(f"c: {c}")

# stack
d = np.stack((a, b), axis=0)
print(f"d: \n{d}")

# split
e = np.split(c, 2)
print(f"e: {e}")

# hsplit
f = np.hsplit(b.reshape((2, 3)), 3)
print(f"f: {f}")

6. 总结

NumPy 是 Python 科学计算的重要工具，它提供了高性能的数组对象和丰富的函数，可以显著加速数值运算。 NumPy 的核心优势在于：

  • 高效的数组操作: NumPy 数组的同质性、多维性和高效存储，为高性能计算奠定了基础。
  • 向量化运算: 向量化操作是 NumPy 加速数值运算的关键，通过批量运算和避免循环，充分利用 CPU 并行处理能力，大幅提升计算速度。
  • 广播机制: 广播机制简化了不同形状数组的运算，提高了代码可读性。
  • 丰富的函数库: NumPy 提供了丰富的数学函数、线性代数函数、随机数生成函数等，涵盖了科学计算中常用的各种运算。

NumPy 在数据分析、机器学习、物理模拟等领域有着广泛的应用，建议深入学习 NumPy，并将其应用于实际的科学计算任务中， 充分利用其强大的功能提升代码效率和性能。

附录：

把海弄干的鱼.
关注
  • 24
    点赞
  • 踩
  • 19
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Python数据分析：【NumPy系列】NumPy 和 SciPy：科学计算的强强联合
惊鸿若梦一书生
01-30 421
NumPy 提供了强大的数组操作能力，而 SciPy 则在此基础上添加了许多科学计算的功能，包括优化、信号处理、图像处理和统计等。
python科学计算之numpy——ufunc函数用法
01-02
这些函数在对narray进行运算的速度比使用循环或者列表推导式要快很多，但请注意，在对单个数值进行运算时，python提供的运算要比numpy效率高。 四则运算 numpy提供的四则ufunc有如下一些： numpy提供的四则运算...
Python科学计算：用NumPy快速处理数据
AI悦创·编程私教1v1
08-17 1932
你好，我是悦创。 我来分享一下数据分析中 Numpy 库的使用，本文内容较多，不可能每段代码的输出过程、输出结果分析这显然工作量不是一点点。但我都结合了大量的代码块，希望小伙伴动手运行代码并分析所得到的结果。当你能做到这点的时候，在未来：不管是 Numpy 版本升级导致 API 变化还是其他，你都可以游刃有余的去解决和学习新知识。 而对于结果，分析得不到的结果中规律的小伙伴呢，也不要慌。花了九块钱买的，我的服务也是要有的，如果你对本文中的示例代码的运行结果不理解或者其他问题，都可以在本文下方留言。当然，也可
Python科学计算库Numpy
赵广陆
07-10 544
目录 1 介绍 1.1 ndarray 1.2 numpy与list对比 属性方法 2 基本操作 2.1 ndarray形状和类型 2.2 生成数组 2.3 索引切片 2.4 形状改变 2.5 类型修改 2.6 数组去重 3 ndarray运算 3.1 逻辑运算 3.2 统计运算 3.3 数组运算 3.4 数组合并分割 1 介绍 Numpy(Numerical Python)是一个开源的Python科学计算库，用于快速处理任意维度的数组。...
python科学计算和数据科学应用_Python科学计算和数据科学应用：使用NumPy、SciPy和matplotlib（第2版）...
weixin_39994296的博客
12-04 856
目 录第1章 科学计算介绍 11.1 Python数值计算环境 31.2 Python 41.3 IPython控制台 51.3.1 输入输出缓存 61.3.2 自动补全和对象自省(Object Introspection) 61.3.3 文档 71.3.4 与系统shell进行交互 71.3.5 IPython扩展 81.4 Jupyter 131....
Python 科学计算库 Numpy（一）—— 概述
qq_52309640的博客
12-31 789
本篇博文主要简单介绍了 Python 语言中的科学计算基础库 Numpy 中的数据类型、数组属性以及矢量化运算，并加以代码实现加强理解。
初识 Python 科学计算库之 NumPy（创建多维数组对象）
两个月亮
02-03 1740
NumPy 与 SciPy、Matplotlib、SciKits 等其他众多 Python 科学计算库很好的结合在一起，共同构建了一个完整的科学计算生态系统。NumPy（Numerical Python）是一个开源的 Python 第三方库，几乎用于每个科学和工程领域。
开源的Python科学计算库：NumPy
网络技术联盟站
07-12 153
NumPy（Numerical Python的缩写）是由Travis Olliphant于2005年发起的一个开源项目，旨在提供高性能的数值计算工具和数据结构。NumPy建立在Python解释器之上，并与其他科学计算库（如SciPy、Pandas等）配合使用，构成了Python的科学计算堆栈。NumPy的核心是多维数组对象（ndarray），它是一个用于存储同类型元素的多维数据容器。NumPy提供了丰富的数组操作函数和方法，包括元素访问、切片、形状变换、数学运算、线性代数等。
Python 科学计算库：Numpy介绍和使用
平原的博客
06-28 4354
一、Numpy的作用 （1）对于同样的数值计算任务，由于NumPy能够直接对数组和矩阵进行操作，可以省略很多循环语句使用NumPy要比直接编写Python代码便捷得多； （2）NumPy中数组的存储效率和输入输出性能均远远优于Python中等价的基 本数据结构； （3）NumPy的大部分代码都是用C语言写成的，这使得NumPy比纯Python代 码高效得多。 二、 NumPy是什么 （1...
Python NumPy库：高效处理数值数据的利器
愤怒的阿木木的博客
05-09 1295
引言：NumPy（Numerical Python）是Python中最重要的科学计算库之一。它提供了强大的数据结构、广播函数以及用于数值计算的高性能工具。本文将深入介绍NumPy库的核心特性、常用函数和用法，以及其在数值计算和数据科学中的应用。
大数据Python科学计算库-Numpy实战:numpy代码
05-02
大数据Python科学计算库-Numpy实战:numpy代码 练习题.ipynb 9-读写.ipynb 8-随机模块.ipynb 7-运算.ipynb 6-数组 生成.ipynb 5-数组形状.ipynb 4-排序.ipynb 3-数值计算. ipynb 2-array结构.ipynb 1-Numpy概述....
Python 科学计算——numpy 篇，pandas 篇，scipy 篇。
03-20
Python 科学计算介绍.mp4 pandas 篇： pandas 库之散点图.mp4 pandas 库之数据筛选及过滤.mp4 pandas 库之直方图.mp4 pandas 库之字符串提取与操作.mp4 scipy 篇： 常微分方程组.mp4 非线性方程组.mp4 数值积分.mp4
Python数据分析–科学计算工具Numpy基础数据结构
01-20
Numpy是Python开源的科学计算工具包，是一个非常高级的数值编程工具，具有强大的N维数组对象，对数组数据结构进行运算时不需要遍历循环，具有随机数，傅里叶变换，线性代数等基本功能。今天我们首先来讲一下Numpy...
python科学计算（第二版）
09-30
《Python 科学计算（第2版）》详细介绍Python科学计算中常用的扩展库NumPy、SciPy、matplotlib、Pandas、SymPy、TTK、Mayavi、OpenCV、Cython，涉及数值计算、界面制作、三维可视化、图像处理、提高运算效率等多方面...
如何mysql数据导入到mongdb
codemami的博客
05-30 770
由于MySQL和MongoDB的数据模型不同（例如，MySQL使用关系模型，而MongoDB使用文档模型），你可能需要转换数据的格式。使用MongoDB驱动程序：你也可以使用MongoDB的官方驱动程序（如Python的pymongo）来编写脚本，将数据直接插入到MongoDB中。注意：如果你的JSON文件包含多个文档，并且它们不是作为数组的一部分（即每个文档都在其自己的行上），则需要使用--jsonArray选项。手动转换：对于小型数据集，你可以手动编辑SQL或CSV文件，将其转换为JSON格式。
学 Python 具体能干什么？
猿小白的博客
05-26 1240
Python 是一种功能强大、用途广泛的编程语言，因其简洁易读的语法和丰富的库生态系统而备受欢迎。
在linux服务器上使用tensorboard，错误记录
最新发布
wwwwzm的博客
05-30 478
1. 使用tensorboard命令时，不是从虚拟环境中找tensorboard，而是从（全局路径）中找（/home/ljx/.local/lib/python3.9/site-packages/tensorboard）是一个在 Unix-like 系统（包括 Linux 和 macOS）的命令行界面（如 Bash shell）中使用的命令。2.使用which命令， 查看使用的tensorboard的路径，发现使用的是全局路径，不是虚拟环境路径。是一个特殊的变量，它定义了操作系统搜索可执行文件的目录。
Pandas03
Bianca427的博客
05-27 1225
聚合计算时新增一列计算最大值与平均值的差值df.groupby('district').agg(最低工资=('salary', 'min'), 最高工资=('salary', 'max'), 平均工资=('salary', 'mean'), 最大值与均值差值=('salary', myfunc)).rename_axis(["行政区"])
numpy数组在数值运算方面的效率优于python提供的列表
06-11
NumPy是一个Python科学计算的核心库，它提供了高效的多维数组对象，并且能够处理大量的数据。NumPy数组在数值计算方面比Python列表更加高效，原因如下： 1. NumPy数组是连续的内存块，而Python列表是由指针链表实现...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值