Python数据描述与分析

在进行数据分析之前，我们需要做的事情是对数据有初步的了解，比如对数据本身的敏感程度，通俗来说就是对数据的分布有大概的理解，此时我们需要工具进行数据的描述，观测数据的形状等；而后才是对数据进行建模分析，挖掘数据中隐藏的位置信息。怒气按在数据描述和简单分析方面做得比较好的是Pandas库。当然，它还需要结合Numpy。Scipy等科学计算相关库才能发挥功效。

Pandas数据结构

在进行Pandas相关介绍时，我们首先需要知道的是Pandas的两个数据结构（即对象）Series和DataFrame，这是Pandas的核心结构，掌握了此二者结构和属性要素，会在具体的数据处理过程中如虎添翼。

1）Series简介

Series是一种类似于一维数组的对象，它由两部分组成，第一部分是一维数据，另外一部分是与此一维数据对应的标签数据。但是语言描述不好理解，具体如下：

import pandas as pd
#这是约定俗成的写法，一般而言，大家都会写pd，当然也可以换成别的

centerSeries=pd.Series(['中国科学院','文献情报中心','大楼','北四环西路']);
print(centerSeries);
#output:
# 0     中国科学院
# 1    文献情报中心
# 2        大楼
# 3     北四环西路
# dtype: object

因为我们没有指定标签数据，而Python默认是通过数字排序进行标识，接下来给它添加标识数据。

import pandas as pd
#这是约定俗成的写法，一般而言，大家都会写pd，当然也可以换成别的

centerSeries=pd.Series(['中国科学院','文献情报中心','大楼','北四环西路'],index=['a','b','c','d']);
# index的size同Series必须一样大，否则报错
print(centerSeries);
#output:
# a     中国科学院
# b    文献情报中心
# c        大楼
# d     北四环西路
# dtype: object

对比之前的默认标识，我们可以看出它是由1,2,3,4变成了a,b,c,d。接下来将解释这样标识的意义。

import pandas as pd
#这是约定俗成的写法，一般而言，大家都会写pd，当然也可以换成别的

centerSeries=pd.Series(['中国科学院','文献情报中心','大楼','北四环西路'],index=['a','b','c','d']);
# index的size同Series必须一样大，否则报错
print(centerSeries[0])#通过一维数组进行获取数据
print(centerSeries[1])
print(centerSeries['c'])#通过标识index获取数据
print(centerSeries['d'])
# output:
# 中国科学院
# 文献情报中心
# 大楼
# 北四环西路

另外，我们可以看到通过一位数组格式获取数据和通过index标识获取数据都可以，这样的index就像曾经学过的数据库中的id列的作用，相当于建立了每个数据的索引。当然，针对Series的操作不只限于此，还有很多需要我们自己去通过“help”查看得到的。

2）DataFrame简介

DataFrame是一个表格型的数据结构，它包含有列和行索引，当然你也可以把它看做是由Series组织成的字典。需要说明的是，DataFrame的每一列中不需要数据类型相同，且它的数据是通过一个或者多个二维块进行存放，在了解DataFrame之前如果你对层次化索引有所了解，那么DataFrame可能相对容易理解，当然不知道也没有关系，举个简单的例子：它类似于常见的excel表格格式，可将它理解为一张excel表，至于DataFrame在内部具体如何处理，这个作为应用层的过程我们先不讨论。

import pandas as pd
# 简单的DataFrame制作
# 字典格式的数据
data={'name':['国科图','国科图','文献情报中心','文献情报中心'],
     'year':['2012','2013','2014','2015'],
     'local':['北四环西路','北四环西路','北四环西路','北四环西路'],
     'student':['甲','乙','丙','丁']}
centerDF=pd.DataFrame(data);
centerDF #同样，默认的index是数字表示，而且它的列名也是按字母顺序排序的

运行结果：

当然我们可以调整列的格式，index仍采用默认：

在pd.DataFrame()函数中明确指定参数columns

centerDF=pd.DataFrame(data,columns=['year','name','local','student']);

结果：

更改index的默认设置：

在pd.DataFrame()函数中明确指定参数index

centerDF=pd.DataFrame(data,columns=['year','name','local','student'],index=['a','b','c','d']);

既然DataFrame是行列格式的数据，那么理所当然可以通过行、列的方式进行数据获取，按列进行数据获取：

import pandas as pd
# 简单的DataFrame制作
# 字典格式的数据
data={'name':['国科图','国科图','文献情报中心','文献情报中心'],
     'year':['2012','2013','2014','2015'],
     'local':['北四环西路','北四环西路','北四环西路','北四环西路'],
     'student':['甲','乙','丙','丁']}
centerDF=pd.DataFrame(data,columns=['year','name','local','student'],index=['a','b','c','d']);
print(centerDF['name']);
print()
print('列的类型：',type(centerDF['name']))
print();
print(centerDF['year'])
# output:
# a       国科图
# b       国科图
# c    文献情报中心
# d    文献情报中心
# Name: name, dtype: object

# 列的类型： <class 'pandas.core.series.Series'>

# a    2012
# b    2013
# c    2014
# d    2015
# Name: year, dtype: object

另外，可以看出按列进行获取时它们的index表示是相同的，且每一列是一个Series对象。

按行进行数据获取，其实是通过index进行操作。

import pandas as pd
# 简单的DataFrame制作
# 字典格式的数据
data={'name':['国科图','国科图','文献情报中心','文献情报中心'],
     'year':['2012','2013','2014','2015'],
     'local':['北四环西路','北四环西路','北四环西路','北四环西路'],
     'student':['甲','乙','丙','丁']}
centerDF=pd.DataFrame(data,columns=['year','name','local','student'],index=['a','b','c','d']);
print(centerDF.loc['a']);
print()
print('行的类型：',type(centerDF.loc['a']))
# output:
#year        2012
# name         国科图
# local      北四环西路
# student        甲
# Name: a, dtype: object

# 行的类型： <class 'pandas.core.series.Series'>

其中‘loc’，也可用‘iloc’,不推荐使用‘ix’，因为其已经被弃用。

可以看出，每一行是一个Series对象，此时该Series的index其实就是DataFrame的列名称，综上来看，对于一个DataFrame来说，它是纵横双向进行索引，只是每个Series（纵横）都共用一个索引而已。

3）利用Pandas加载、保存数据

在进行数据处理时我们首要的工作是把数据加载到内存中，这一度成为程序编辑的软肋，但是Pandas包所提供的功能几乎涵盖了大多数的数据处理的加载问题，如read_csv、read_ExcelFile等。

1.加载、保存csv格式的数据

原文件：

代码：

#! /usr/bin/env python  
#coding=utf-8  

#加载csv格式的数据
data_csv=pd.read_csv(r'C:\Users\123\Desktop\result.csv');#它的默认属性有sep=','
data_csv

运行结果：

更改默认属性

data_csv=pd.read_csv(r'C:\Users\123\Desktop\result.csv',sep='#');#更改默认属性有sep='#'
data_csv

运行结果：

不要表头：

data_csv=pd.read_csv(r'C:\Users\123\Desktop\result.csv',header=None,skiprows=[0]);#不要表头Header
data_csv

结果：

自行添加表头列：

#! /usr/bin/env python  
#coding=utf-8  

#加载csv格式的数据
data_csv=pd.read_csv(r'C:\Users\123\Desktop\result.csv',header=None,skiprows=[0]);#不要表头Header
print(type(data_csv))#通过它的类型我们可以看到它是DataFrame
#可自行添加表头列
data_csv.columns=['第一列','第二列','第三列','第四列','第五列','第六列','第七列','第八列','第十列','第十一列','第十二列','第十三列'];
data_csv

运行结果：

保存csv数据：

#! /usr/bin/env python  
#coding=utf-8  

#加载csv格式的数据
data_csv=pd.read_csv(r'C:\Users\123\Desktop\result.csv',header=None,skiprows=[0]);#不要表头Header
print(type(data_csv))#通过它的类型我们可以看到它是DataFrame
#可自行添加表头列
data_csv.columns=['第一列','第二列','第三列','第四列','第五列','第六列','第七列','第八列','第十列','第十一列','第十二列','第十三列'];
data_csv.loc[0,'第一列']='新添加内容';
data_csv.to_csv(r'C:\Users\123\Desktop\result2.csv');
data_csv

运行结果：

生成新文件：

综上所述，通过对csv格式的文件进行读取，我们可以指定读入的格式（sep=’,’），也可以指定它的header为空None，最后添加column，而之所以可以后来添加的原因是读入的csv已经是DataFrame对象了。