数据分析——chapter1

---

Hands-on Data Analysis——Chapter 1

学习目标：获得待分析的数据、加载数据、查看数据、Pandas操作、初探数据分析等

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、数据载入及初步观察

import numpy as np
import pandas as pd

df=pd.read_csv('train.csv')
df.head(3)#显示读取出的数据前三行
df.tail(3)#显示读取出的数据的后三行
df.info()#显示读取表格的信息
df.isnull().head()#判断数据是否为空

# 块读取
chunker= pd.read_csv('train.csv',chunksize=1000)
#更改表头信息
df = pd.read_csv('train.csv', names=['乘客ID','是否幸存','仓位等级','姓名','性别','年龄','兄弟姐妹个数','父母子女个数','船票信息','票价','客舱','登船港口'],index_col='乘客ID',header=0)
df.head()

df.to_csv('train_chinese.csv')#将读取的表格信息保存为以train_chinese为文件名的csv文件

二、pandas基础

示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。

代码如下（示例）：

import numpy as np
import pandas as pd
sdata = {'Ohio': 35000, 'Texas': 71000, 'Oregon': 16000, 'Utah': 5000}
example_1 = pd.Series(sdata)
example_1

data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada', 'Nevada'],
        'year': [2000, 2001, 2002, 2001, 2002, 2003],'pop': [1.5, 1.7, 3.6, 2.4, 2.9, 3.2]}
example_2 = pd.DataFrame(data)#dataframe为高级的数据结构
example_2

df.columns
df['Cabin'].head(3) # #equal to df.Cabin.head(3)
#删除多余的列
del test_1['a']
test_1.head(3)
#隐藏'PassengerId','Name','Age','Ticket'这几列
df.drop(['PassengerId','Name','Age','Ticket'],axis=1).head(3)

#数据筛选
midage = df[(df["Age"]>10)& (df["Age"]<50)]
#数据恢复
midage = midage.reset_index(drop=True)

midage.loc[[100],['Pclass','Sex']]#将midage中第100行中以'Pclass','Sex'为表头的数据显示出来 loc为location的简写
midage.iloc[[100,105,108],[2,3,4]]#将midage中第100，105,108行中以第2,3，4列为表头的数据显示出来

iloc和loc区别：iloc以index中的数据为索引初始值开始索引，loc以index本身为索引
比如loc[[2]] 则会找到以2为行号的数据 iloc[[2]]则从第0行开始找到第2行

三、探索性数据分析

代码如下（示例）：

import numpy as np
import pandas as pd
text = pd.read_csv('train_chinese.csv')
text.head()

frame = pd.DataFrame(np.arange(8).reshape((2, 4)), 
                     index=['2', '1'], 
                     columns=['d', 'a', 'b', 'c'])
frame


frame.sort_values(by='c', ascending=True)

frame.sort_index()#以索引值降序排列

frame.sort_index(axis=1)#以索引值升序排列

frame.sort_index(axis=1, ascending=False)#以索引值降序排列

frame.sort_values(by=['a', 'c'], ascending=False)#以a,c列降序排列


text.sort_values(by=['票价', '年龄'], ascending=False).head(3)



frame1_a = pd.DataFrame(np.arange(9.).reshape(3, 3),
                     columns=['a', 'b', 'c'],
                     index=['one', 'two', 'three'])
frame1_b = pd.DataFrame(np.arange(12.).reshape(4, 3),
                     columns=['a', 'e', 'c'],
                     index=['first', 'one', 'two', 'second'])
frame1_a


frame1_a + frame1_b #两个DataFrame相加后，会返回一个新的DataFrame，对应的行和列的值会相加，没有对应的会变成空值NaN。

max(text['兄弟姐妹个数'] + text['父母子女个数'])

frame2 = pd.DataFrame([[1.4, np.nan], 
                       [7.1, -4.5],
                       [np.nan, np.nan], 
                       [0.75, -1.3]
                      ], index=['a', 'b', 'c', 'd'], columns=['one', 'two'])
frame2

frame2.describe()#查看数据基本信息
会返回如下值
'''
count : 样本数据大小
mean : 样本数据的平均值
std : 样本数据的标准差
min : 样本数据的最小值
25% : 样本数据25%的时候的值
50% : 样本数据50%的时候的值
75% : 样本数据75%的时候的值
max : 样本数据的最大值
'''

text['票价'].describe()

text['父母子女个数'].describe()