Numpy&Pandas

一、Numpy

numpy是以矩阵为基础的数学计算模块，提供高性能的矩阵运算，数组结构为ndarray。

首先需要明确数组与列表的区别：数组是一种特殊变量，虽与列表相似，但列表可以存储任意类型的数据，数组只能存储一种类型的数据，同时，数组提供了许多方便统计计算的功能（如平均值mean、标准差std等）。

那么numpy有哪些功能呢？

首先在使用前要导入该模块（导入前要安装，方法自行搜索吧(*＾-＾*)），代码如下：

import numpy as np

1. 通过原有列表转化为数组

2. 直接生成数组

① 生成一维数组

上图中由于生成一维数组时，没有给参数10 定义数据类型，所以数组元素的类型默认为float64。那定义数据类型为整型时会是什么结果呢？

② 生成多维数组

zeros返回来一个给定形状和类型的用0填充的数组，同理，ones返回来一个给定形状和类型的用1填充的数组。但更多情况下我们想指定某个值，这时用np.full(shape, val)生成全为val的值，如下：

3. 随机数取值

我们知道random库中可以通过random.randint(5,10)来随机生成一个5-10的数，如下：

在numpy中也有一个类似的加强版的功能。

4. 范围取值

5. 访问数组中的元素

6. 基本数学运算

numpy在做运算时，是对数组中每个元素都进行运算。

常用的运算符号及等价函数总结如下：

7. 数组变形

数组变形时，数组总大小保持不变，如上图中我们定义了一个两行五列的数组，总大小为2*5=10，经变形后得到一行十列的数组，总大小仍为10，但我们无法变成3*4或6*9等类型。

8. 数组拼接

9. 数组排序

二、Pandas

pandas是基于numpy数组构建的，但二者最大的不同是pandas是专门为处理表格和混杂数据设计的，比较契合统计分析中的表结构，而numpy更适合处理统一的数值数组数据。pandas数组结构有一维Series和二维DataFrame。

使用前同样需要先导入该模块，代码如下：

import pandas as pd

1. Series

Series是一种类似于一维数组的对象，它由一组数据以及一组与之相关的数据标签（索引index）组成。

Series的字符串表现形式为：索引在左边，值在右边。如果不为数据指定索引，则会默认创建一个0到n-1的整数型索引。

① 通过原有字典转化为数组

② 访问元素

与numpy相比，除了根据位置获取值外，还可以根据索引获取。

③ 向量化运算

上图运行结果可以看到出现了缺失值NaN（not a number），这是因为索引值b、c、d、e、f、g只出现在一个一维数组中。在数据分析过程中，我们通常不希望缺失值出现，那么如何解决呢？

一般常用的有两种方法：

2. DataFrame

DataFrame是一个表格型的数据结构，其中的数据是以一个或多个二维块存放的，而不是列表、字典或别的一维数据结构。它含有一组有序的列，每列可以是不同的数据类型，它既有行索引，也有列索引。

① 将原有字典转化为DataFrame

② 访问元素

③ 条件筛选

④ 排序

⑤ 应用函数

其他常用函数举例如下：

# 取前五行
table.head()

# 取后五行
table.tail()

# 查看行列数
table.shape()

# 查看每一列的统计信息
table.describe()

......