数据分析之数据查看1

以泰坦尼克号数据为例

第一章：数据载入及初步观察

1.数据集下载

数据集下载 https://www.kaggle.com/c/titanic/overview

2.数据查看

import pandas as pd
import numpy as np

# 0.读取数据，读取的时加表头
featureNames=["乘客ID","是否幸存","乘客等级(1/2/3等舱位)","乘客姓名","性别","年龄","堂兄弟/妹个数","父母与小孩个数", "船票信息","票价","客舱","登船港口"]
data=pd.read_csv('train.csv'，names=featureNames,header=0,encoding='utf-8',sep='\t')

# 1.查看训练集特征信息，特征筛选由训练集为基准
stats = []
for col in data.columns:
    stats.append((col,data[col].nunique(), data[col].isnull().sum() * 100 / data.shape[0],                data[col].value_counts(normalize=True, dropna=False).values[0] * 100, data[col].dtype))
stats_df = pd.DataFrame(stats, columns=['Feature', 'Unique_values', 'Percentage of missing values',
                                        'Percentage of data that appears the most', 'type'])
stats_df.sort_values('Percentage of missing values', ascending=False, inplace=True) # 排序
stats_df.to_csv(path+'Percentage of missing values.csv', index=None)

# 2.简略观察数据(head()+shape)
#显示全部列
pd.set_option('display.max_columns', None)  
#显示全部行
pd.set_option('display.max_row', None) 
data.head().append(data.tail()) #初步了解数据的情况

# 3.数据形状与数据基本信息
print(data.shape)
print(data.info())  # 数据类型，以及缺失值分布

# 4.查看是否有缺失值,总共有几个
data.isnull().sum()

# 5.查看dataframe的列名与行名，以及值
data.index # 列名
data.columns # 行名
data.values # 值

# 6.查看缺失列或者异常列的值
data['性别'].value_counts()

# 7.删除无用行
##法一：
del data["登船港口"]
##法二
data.drop(by=["登船港口"],axis=1,inplace=True)

# 8.隐藏["船票信息","票价","客舱"]三列，专注观看其他列
data.drop(["船票信息","票价","客舱"],axis=1)  # 不取代就是隐藏

# 9.筛选数据
## a。筛选出年龄小于50大于10人的数据
newdata=data[(data['年龄']>10)&(data['年龄']<50)]
## b。使用loc/iloc方法将newdata的数据中第100，105，108行的"乘客等级(1/2/3等舱位)","乘客姓名","性别"的数据显示出来
newdata.iloc[[100,105,108],[2,3,4]]
newdata.loc[[100,105,108],["乘客等级(1/2/3等舱位)","乘客姓名","性别"]]

# 10.给内容或者索引排序，分析一：
newdata.sort_index() #索引行升序排序
newdata.sort_index(axis=1) #索引列升序排序

newdata.head(20).sort_values(by=['乘客等级(1/2/3等舱位)','性别','年龄'],ascending=True) #原数据按舱位，年龄、性别降序排列

# 11.分析二：计算出在船上最大的家族（‘兄弟姐妹个数’+‘父母子女个数’）有多少人？
#代码
print(max(newdata["堂兄弟/妹个数"]+newdata["父母与小孩个数"]))
print((newdata["堂兄弟/妹个数"]+newdata["父母与小孩个数"]).idxmax(axis=0)) #索引是159的人家族最庞大，人数是10人

# 12.通过df.describe()分析
newdata.describe()
'''
count : 样本数据大小
mean : 样本数据的平均值
std : 样本数据的标准差
min : 样本数据的最小值
25% : 样本数据25%的时候的值
50% : 样本数据50%的时候的值
75% : 样本数据75%的时候的值
max : 样本数据的最大值
'''
#代码
data['票价'].describe()
data['年龄'].describe()


# 15.保存处理后的数据
data.to_csv('data.csv',index=False) # 不加索引

排序10分析：乘客一等舱有4个，幸存有3个，均是女性；二等舱3人，幸存者3人，女性2人，男性1人；三等舱13人，幸存者4人均是女性，男性均死亡

说明：同等情况下，说明乘客舱位等级越高越容易存活，女性更容易存活

排序12分析：

一共有891个有效数据，平均值32.2，标准差49.69，说明波动大，票价不稳定，票价区间为【0，512】，有25%的票价低于7.91，50%的票价低于14.45，75%的票价低于31

分析，有效年龄数据714个；平均年龄29岁；标准差14.5，波动不小，说明老人孩子都有；最小的0岁，最大的80岁；有25%的人小于20岁，50%的人小于28岁，75%的人小于38岁；

说明：小孩和青壮年居多