python数据分析及展示（一）

一、IDE选择

Anaconda软件：开源免费，https://www.anaconda.com下载，根据系统进行安装。由于下载速度慢，可以去清华大学开源软件镜像站下载。

Spyder软件设置：Tools-Preferences-Syntax coloring-Scheme设置成Monokai，保护眼睛。

Spyder里面有一个IPython，交互式调试工具。

二、NumPy库

1. 数据的维度：一组数据的组织形式。

从一个数据到一组数据，表达多种数据含义。

一维数据：由对等关系的有序或无序数据组成，采用线性方式组织，对应列表、集合、数组等。

二维数据：由多个一维数据构成，是一维数据的组合形式，字典或数据表示格式，如json等。

多维数据：由一维或二维数据在新维度上拓展形成。

高维数据：仅利用最基本的二元关系展示数据间的复杂结构，如键值对。

2. NumPy库

开源的Python科学计算基础库。

import numpy as np  引用模块的别名，建议这样的别名。

为什么需要一个额外的数据类型呢？如：N维数组对象ndarray，一维数组np.array（[0,1,2,3,4])

好处：a 数组对象可以去掉元素间运算所需的循环，使一维向量更像单个数据。

           b 设置专门的数组对象，经过优化，可以提升这类应用的运算速度，底层是C语言，故效率高。

           c 科学计算中，一个维度所有数据的类型往往相同，数组对象采用相同的数据类型，有助于节省运算和存储空间。

ndarray数组一般要求所有元素类型相同，数组下标从0开始。

ndarray对象的属性

属性       说明
.ndim     秩，即轴的数量或维度的数量
.shape    ndarray对象的尺度，对于矩阵，n行m列
.size       ndarray对象元素的个数，相当于.shape中n*m的值
.dtype     ndarray对象的元素类型
.itemsize ndarray对象中每个元素的大小，以字节为单位

3. ndarray数组的元素类型

ndarray有多种数据类型，原因是，对元素类型精细定义，有助于NumPy合理使用存储空间并优化性能，有助于对程序规模的预测。

 ndarray的元素类型(1)

数据类型 说明
bool        布尔类型，True或False
intc         与C语言中的int类型一致，一般是int32或int64
intp        用于索引的整数，与C语言中ssize_t一致，int32或int64
int8        字节长度的整数，取值：[‐128, 127]
int16      16位长度的整数，取值：[‐32768, 32767]
int32      32位长度的整数，取值：[‐2³¹, 2³¹‐1]
int64      64位长度的整数，取值：[‐2⁶³, 2⁶³‐1]

ndarray的元素类型(2)

数据类型 说明
uint8       8位无符号整数，取值：[0, 255]
uint16     16位无符号整数，取值：[0, 65535]
uint32     32位无符号整数，取值：[0, 2³²‐1]
uint64     64位无符号整数，取值：[0, 2⁶⁴‐1]
float16   16位半精度浮点数：1位符号位，5位指数，10位尾数
float32   32位半精度浮点数：1位符号位，8位指数，23位尾数
float64   64位半精度浮点数：1位符号位，11位指数，52位尾数

ndarray的元素类型(3)

数据类型      说明
complex64   复数类型，实部和虚部都是32位浮点数
complex128 复数类型，实部和虚部都是64位浮点数

4. ndarray数组的创建

（1）从Python中的列表、元组等类型创建ndarray数组
x = np.array(list/tuple)
x = np.array(list/tuple, dtype=np.float32)
当np.array()不指定dtype时，NumPy将根据数据情况关联一个dtype类型

如：x=np.array([0,1,2,3])

（2）使用NumPy中函数创建ndarray数组，如：arange, ones, zeros等

函数                      说明
np.arange(n)        类似range()函数，返回ndarray类型，元素从0到n‐1
np.ones(shape)    根据shape生成一个全1数组，shape是元组类型
np.zeros(shape)   根据shape生成一个全0数组，shape是元组类型
np.full(shape,val)  根据shape生成一个数组，每个元素值都是val
np.eye(n)              创建一个正方的n*n单位矩阵，对角线为1，其余为0

函数                      说明
np.ones_like(a)    根据数组a的形状生成一个全1数组
np.zeros_like(a)   根据数组a的形状生成一个全0数组
np.full_like(a,val)  根据数组a的形状生成一个数组，每个元素值都是val

（3）使用NumPy中其他函数创建ndarray数组

函数                    说明
np.linspace()       根据起止数据等间距地填充数据，形成数组
np.concatenate() 将两个或多个数组合并成一个新的数组

a=np.linspace(1,10,4)

b=np.linspace(1,10,4,endpoint=False)

c=np.concatenate((a,b))

5. ndarray数组的变换

方法                          说明
.reshape(shape)      不改变数组元素，返回一个shape形状的数组，原数组不变
.resize(shape)          与.reshape()功能一致，但修改原数组
.swapaxes(ax1,ax2) 将数组n个维度中两个维度进行调换
.flatten()                    对数组进行降维，返回折叠后的一维数组，原数组不变

6. ndarray数组的操作

索引：获取数组中特定位置元素的过程
切片：获取数组元素子集的过程

一维数组的索引和切片：与Python的列表类似

多维数组的索引：a[1,2,3]

7. ndarray数组的运算

数组与标量之间的运算作用于数组的每一个元素

NumPy一元函数
对ndarray中的数据执行元素级运算的函数

函数                           说明
np.abs(x)  np.fabs(x) 计算数组各元素的绝对值
np.sqrt(x)                   计算数组各元素的平方根
np.square(x)             计算数组各元素的平方
np.log(x)  np.log10(x) 
np.log2(x)                 计算数组各元素的自然对数、10底对数和2底对数
np.ceil(x)  np.floor(x) 计算数组各元素的ceiling值或 floor值

np.rint(x)                    计算数组各元素的四舍五入值
np.modf(x)                 将数组各元素的小数和整数部分以两个独立数组形式返回
np.cos(x)  np.cosh(x)
np.sin(x)  np.sinh(x)
np.tan(x)  np.tanh(x)
                                   计算数组各元素的普通型和双曲型三角函数
np.exp(x)                    计算数组各元素的指数值
np.sign(x)                   计算数组各元素的符号值，1(+), 0, ‐1(‐)

NumPy二元函数

函数                                    说明
+ ‐ * / **                              两个数组各元素进行对应运算
np.maximum(x,y)  np.fmax()
np.minimum(x,y) np.fmin()
                                             元素级的最大值/最小值计算
np.mod(x,y)                          元素级的模运算
np.copysign(x,y)                   将数组y中各元素值的符号赋值给数组x对应元素
> < >= <= == !=                      算术比较，产生布尔型数组

三、数据存取与函数

1. 数据的CSV文件存取

CSV (Comma‐Separated Value, 逗号分隔值)
CSV是一种常见的文件格式，用来存储批量数据

np.savetxt(frame, array,  fmt='%.18e', delimiter=None)
• frame  :  文件、字符串或产生器，可以是.gz或.bz2的压缩文件
• array  :  存入文件的数组
• fmt :  写入文件的格式，例如：%d %.2f %.18e
• delimiter  :  分割字符串，默认是任何空格

a=np.arange(100).reshape(5,20)

np.savetxt('a.csv,a,fmt='%.1f',delimiter=',')

np.loadtxt(frame,  dtype=np.float,  delimiter=None， unpack=False)
• frame  :  文件、字符串或产生器，可以是.gz或.bz2的压缩文件
• dtype :  数据类型，可选
• delimiter  :  分割字符串，默认是任何空格
• unpack  :  如果True，读入属性将分别写入不同变量

b=np.loadtxt('a.csv',dtype=np.int,delimiter=',')

CSV只能有效存储一维和二维数组
np.savetxt() np.loadtxt()只能有效存取一维和二维数组

2. 多维数组的存储

a.tofile(frame, sep='',  format='%s')
• frame  :  文件、字符串
• sep :  数据分割字符串，如果是空串，写入文件为二进制
• format  :  写入数据的格式

a=np.arrange(100).reshape(5,10,2)

a.tofile('b.dat',sep=',',format='%d')

np.fromfile(frame, dtype=float, count=‐1, sep='')
• frame  :  文件、字符串
• dtype :  读取的数据类型
• count  :  读入元素个数，‐1表示读入整个文件
• sep :  数据分割字符串，如果是空串，写入文件为二进制

c=np.fromfile("b.dat",dtype=np.int,sep=",").reshape(5,10,2)

需要注意：该方法需要读取时知道存入文件时数组的维度和元素类型

a.tofile()和np.fromfile()需要配合使用

可以通过元数据文件来存储额外信息

NumPy的便捷文件存取

np.save(fname,  array)  或 np.savez(fname,  array)
• fname :  文件名，以.npy为扩展名，压缩扩展名为.npz
• array  :  数组变量
np.load(fname)
• fname :  文件名，以.npy为扩展名，压缩扩展名为.npz

a=np.arrange(100).reshape(5,10,2)

np.save("a.npy",a)

b=np.load("a.npy")

3. numPy的随机数函数

NumPy的random子库np.random.*

函数                                   说明
rand(d0,d1,..,dn)               根据d0‐dn创建随机数数组，浮点数，[0,1)，均匀分布
randn(d0,d1,..,dn)             根据d0‐dn创建随机数数组，标准正态分布
randint(low[,high,shape])   根据shape创建随机整数或整数数组，范围是[low, high)
seed(s)                              随机数种子，s是给定的种子值，如果s一样，产生的随机数相同

b=np.random.randint(100,200,(3,4))

函数                                   说明
shuffle(a)                            根据数组a的第0轴进行随排列，改变数组x
permutation(a)                   根据数组a的第0轴产生一个新的乱序数组，不改变数组x
choice(a[,size,replace,p])   从一维数组a中以概率p抽取元素，形成size形状新数组replace表示是否可以重用元素，默认为False

uniform(low,high,size)        产生具有均匀分布的数组,low起始值,high结束值,size形状
normal(loc,scale,size)       产生具有正态分布的数组,loc均值,scale标准差,size形状
poisson(lam,size)              产生具有泊松分布的数组,lam随机事件发生率,size形状

4.numPy的统计函数

函数                                 说明
sum(a, axis=None)          根据给定轴axis计算数组a相关元素之和，axis整数或元组
mean(a, axis=None)       根据给定轴axis计算数组a相关元素的期望，axis整数或元组
average(a,axis=None,weights=None) 根据给定轴axis计算数组a相关元素的加权平均值
std(a, axis=None)            根据给定轴axis计算数组a相关元素的标准差
var(a, axis=None)            根据给定轴axis计算数组a相关元素的方差

axis=None 是统计函数的标配参数

min(a)  max(a)                计算数组a中元素的最小值、最大值
argmin(a)  argmax(a)      计算数组a中元素最小值、最大值的降一维后下标
unravel_index(index, shape) 根据shape将一维下标index转换成多维下标
ptp(a)                             计算数组a中元素最大值与最小值的差
median(a)                      计算数组a中元素的中位数（中值）

5. numPy的梯度函数

函数 说明
np.gradient(f) 计算数组f中元素的梯度，当f为多维时，返回每个维度梯度

梯度：连续值之间的变化率，即斜率
XY坐标轴连续三个X坐标对应的Y轴值：a, b, c，其中，b的梯度是： (c‐a)/2

四、图像的处理

1. 图像的数组表示

RGB三个颜色通道的变化和叠加得到各种颜色，其中
• R 红色，取值范围，0‐255
• G 绿色，取值范围，0‐255
• B 蓝色，取值范围，0‐255
RGB形成的颜色包括了人类视力所能感知的所有颜色。

PIL， Python Image Library
PIL库是一个具有强大图像处理能力的第三方库
在命令行下的安装方法： pip install pillow
from PIL import Image
Image是PIL库中代表一个图像的类（对象）

图像是一个三维数组，维度分别是高度、宽度和像素RGB值

from PIL import  Image

import munpy as np

im=np.array(Image.open("D:/pycodes/beijing.jpg"))

print(im.shape,im.dtype)

输出为(669,1012,3) uint8

2. 图像的变换

a= np.array(Image.open("D:/pycodes/fcity.jpg").convert(‘L’))

b=255-a

im=Image.fromarray(b.astype('uint8))

im.save("D:/pycodes/fcity3.jpg")

3. 图像的手绘效果

手绘效果的几个特征：
• 黑白灰色
• 边界线条较重
• 相同或相近色彩趋于白色
• 略有光源效果

 1 from PIL import Image
 2 import numpy as np
 3  
 4 a = np.asarray(Image.open('./beijing.jpg').convert('L')).astype('float')
 5  
 6 depth = 10.                      # (0-100)
 7 grad = np.gradient(a)             #取图像灰度的梯度值
 8 grad_x, grad_y = grad               #分别取横纵图像梯度值
 9 grad_x = grad_x*depth/100.
10 grad_y = grad_y*depth/100.
11 A = np.sqrt(grad_x**2 + grad_y**2 + 1.)
12 uni_x = grad_x/A
13 uni_y = grad_y/A
14 uni_z = 1./A
15  
16 vec_el = np.pi/2.2                   # 光源的俯视角度，弧度值
17 vec_az = np.pi/4.                    # 光源的方位角度，弧度值
18 dx = np.cos(vec_el)*np.cos(vec_az)   #光源对x 轴的影响
19 dy = np.cos(vec_el)*np.sin(vec_az)   #光源对y 轴的影响
20 dz = np.sin(vec_el)              #光源对z 轴的影响
21  
22 b = 255*(dx*uni_x + dy*uni_y + dz*uni_z)     #光源归一化
23 b = b.clip(0,255)
24  
25 im = Image.fromarray(b.astype('uint8'))  #重构图像
26 im.save('./beijingHD.jpg')