原标题:【Nature文章摘录】NumPy: 从单机到分布式并行计算
点击上图,查看详情
本公众号的推送以互联网大数据技术为主,是《互联网大数据处理技术与应用》《Python爬虫大数据采集与挖掘》等课程的配套号。内容涉及 大数据采集、存储、分析挖掘的模型算法、隐私等技术问题,其特色为原创性、技术性。
NumPy开发团队在 Nature 上发表了 Review文章(Array programming with NumPy, 2020.9.16),详细介绍了使用 NumPy 的数组编程。本文对其中主要内容进行了摘录和翻译,主要包括Numpy的基本计算原理和NumPy对分布式并行计算的支持。
1、Numpy的基本计算原理
数组编程(array programming)为以向量、矩阵和高维数组的方式访问、操作和操作数据提供强大的语法。NumPy是Python语言的主要数组编程库,在物理、化学、天文学、心理学、工程、金融和经济等领域的研究分析中发挥着重要作用。本文回顾了一些基本的数组概念,以及如何形成一个简单而强大的编程范式来组织、探索和分析科学数据。
Numpy的生态
NumPy数组是一种能够高效存储和访问多维数组(也称为张量)的数据结构,并支持各种科学计算。它能够运行在从嵌入式设备到超级计算机各种设备上,性能接近编译语言。基本的概念包括 数据结构、索引(切片)、向量化、广播和规约。
2、NumPy对分布式并行计算的支持
现在各种大数据集规模都很大,超过一台机器的存储容量,需要存储在多台机器上或云