Python 数据分析之 3 —— pandas 数据分析

第1关：了解数据集特征

任务描述

本关任务：载入网贷数据集，了解数据概况。 共包含多个子任务： 1.1 读取Training_Master.csv文件，命名为master； 1.2 读取Training_Userupdate.csv文件，命名为user； 1.3 读取Training_LogInfo.csv文件，命名为log； 1.4 分别输出它们的形状； 1.5 输出包含master后7个列名的列表； 1.6 输出user表的前3行。

知识讲解

为了完成本关任务，你需要掌握：

1.pandas模块导入

1. import pandas as pd

2.pandas模块下的数据文件读取方法

1. read_csv()
2. #返回DataFrame类型对象

若数据包含中文，需添加参数encoding='gbk'。

3.了解数据集基本特征的方法。

1. DataFrame.shape #DataFrame形状
2. DataFrame.head(n) #DataFrame数据的前n行
3. DataFrame.columns #DataFrame的列索引

编程要求

根据提示，在右侧编辑器补充代码。

# -*- coding: utf-8 -*-

'''
第1关：了解数据集特征
'''
import pandas as pd
# 1.1 读取Training_Master.csv文件，命名为master。
############begin############

master = pd.read_csv("Training_Master.csv",encoding = "gbk")

#############end#############

#    1.2 读取Training_Userupdate.csv文件，命名为user。
############begin############

user = pd.read_csv("Training_Userupdate.csv",encoding = "gbk")

#############end#############

# 1.3 读取Training_LogInfo.csv文件，命名为log。
############begin############
log = pd.read_csv("Training_LogInfo.csv",encoding = "gbk")


#############end#############

# 1.4 分别输出它们的形状。
############begin############
print(master.shape)
print(user.shape)
print(log.shape)


#############end#############

# 1.5 输出包含master后7个列名的列表。
############begin############
print(list(master.columns)[-7:])


#############end#############

# 1.6 输出user表的前3行。
############begin############

print(user.head(3))

#############end#############

第2关：DataFrame 的 CRUD

任务描述

本关任务：使用DataFrame结构深入了解数据集细节。 包含4个子任务： 2.1 查询master表的列名前缀； 2.2 删除master表的列； 2.3 在master表中增加列； 2.4 修改master表数据。

知识讲解

为了完成本关任务，你需要掌握：

获取DataFrame列名

DataFrame.columns 返回DataFrame的列名Index对象

例如：

1. In [1]: log.columns
2. Out[1]: Index(['Idx', 'Listinginfo1', 'LogInfo1', 'LogInfo2', 'LogInfo3'], dtype='object')

字符串分割

str.split(分隔符) 返回字符串列表

例如：

1. In [2]:'SocialNetwork_12'.split('_')
2. Out[2]: ['SocialNetwork', '12']

删除DataFrame的列

根据索引名称（label）删除指定的行（axis = 0）或列（axis = 1），inplace指定是否删除原数据。 label可以是字符串，也可以是字符串列表。 DataFrame.drop(label,axis,inplace)

Series的广播操作

像ndarray结构一样，Series结构也支持广播操作。

根据行列索引名称查询DataFrame

loc方法的参数很灵活，名称、名称列表、条件表达式均可，需根据实际情况灵活使用。条件表达式本质上仍是索引名列表。 DataFrame.loc[行索引名或条件表达式,列索引名或条件表达式]

编程要求

根据提示，在右侧编辑器补充代码。

# -*- coding: utf-8 -*-
'''
第2关：DataFrame的CRUD
'''
import pandas as pd

master = pd.read_csv("Training_Master.csv",encoding='gbk')
user = pd.read_csv("Training_Userupdate.csv",encoding='gbk')
log = pd.read_csv("Training_LogInfo.csv",encoding='gbk')

#    2.1 求取master表的列名前缀列表，并按字母升序输出该列表。
#     例如：SocialNetwork_12列的列名前缀为：SocialNetwork
############begin############

master_prefix_list = []
for s in master.columns:
    master_prefix_list.append(s.split("_")[0])
master_prefix_list = list(set(master_prefix_list))
master_prefix_list.sort()
print(master_prefix_list)

#############end#############

#    2.2 删除master中列名前缀为：SocialNetwork的列
#     输出：共**列被删除。
############begin############
cols_drop = [col for col in master.columns if col.startswith("SocialNetwork")]
n = len(cols_drop)
master = master.drop(columns=cols_drop)
print("共%d列被删除。"%n)



#############end#############

#    2.3在master表最右侧增加一列Result，
#    记录UserInfo_1和UserInfo_3的和，
#    并输出这三列的前5行。
############begin############
master["Result"] = master["UserInfo_1"]+master["UserInfo_3"]
print(master[["UserInfo_1","UserInfo_3","Result"]].head(5))

#############end#############

#    2.4将UserInfo_2列中所有的“深圳”替换为“中国深圳”，
#    并计算“中国深圳”的用户数。
############begin############
master["UserInfo_2"] = master["UserInfo_2"].replace("深圳","中国深圳")
n = master["UserInfo_2"].value_counts().get('中国深圳',0)
print(n)

#############end#############

第3关 利用 pandas 实现数据统计分析

任务描述

本关任务：利用pandas进行数据统计分析。 本关共包含4个子任务： 3.1 用户来源地分析； 3.2 未登录用户分析； 3.3 用户活跃度分析； 3.4 用户活跃期分析。

具体任务内容详见代码注释。

知识讲解

为了完成本关任务，你需要掌握：

数据频数统计

1. Series.value_counts()
2. #返回Series类型数据,表达Series每个取值的出现次数。

简单数据统计

1. DataFrame.agg(np中的简单统计方法)
2. #按列统计，直接返回统计结果

时间字符串转换为时间类型数据

1. pd.to_datetime(Series或DataFrame)

取时间数据的星期名称

1. Timestamp.day_name()

数据分组

1. DataFrame.groupby(列索引)
2. #返回DataFrameGroupBy对象，
3. DataFrameGroupBy.nunique()
4. #分组对象的nunique方法直接返回每个分组中不重复值的个数。

编程要求

根据提示，在右侧编辑器补充代码。

# -*- coding: utf-8 -*-

'''
第3关：利用pandas实现数据统计分析
'''
import numpy as np
import pandas as pd

master = pd.read_csv("Training_Master.csv",encoding='gbk')
user = pd.read_csv("Training_Userupdate.csv",encoding='gbk')
log = pd.read_csv("Training_LogInfo.csv",encoding='gbk')

# 3.1用户来源地评价。
#    在master表中用value_counts方法实现按用户所在地（UserInfo_2）统计用户数，
#    并按照如下格式输出统计结果的前5项（其中为英文符号）
#    城市:(用户数)
############begin############
locations_and_counts = master["UserInfo_2"].value_counts()
for location,count in locations_and_counts.head(5).items():
    print(location+":"+"(%d)"%count)



#############end#############

#3.2 未登录用户分析。
#    结合master表和log表的内容，
#    求取从未登录的用户的数量，直接输出
############begin############

logUsers = set(log["Idx"])
allUsers = set(master["Idx"])
notLogUsers = allUsers-logUsers
print(len(notLogUsers))

#############end#############

#3.3 用户活跃度分析。
#    求取信息更新（user表）次数最多的用户的最早登录时间（LogInfo3）
#    输出用户Idx，更新次数，最早登录时间
############begin############
#print(user["ListingInfo1"].head(10))
#print(log.columns)
#print(user[""].value_counts())
#print(user["UserupdateInfo1"].value_counts())
maxLogUser = user.groupby("Idx").size().idxmax()
maxUpdateCounts = user.groupby("Idx").size().max()
earlistLogTime = log.loc[log["Idx"]== maxLogUser]["LogInfo3"].min()
print(str(maxLogUser)+" "+str(maxUpdateCounts)+" "+str(earlistLogTime))

#############end#############

# 3.4 用户活跃期分析。
#     给user表增加新列“weekday”，填入更新日期（UserupdateInfo2）相应的星期名称
#     用groupby和nunique方式实现
#     按星期名称统计用户更新人数（注意，是人数），并输出
############begin############

user["UserupdateInfo2"] = pd.to_datetime(user["UserupdateInfo2"])
#print(user["UserupdateInfo2"])
user["weekday"] = user["UserupdateInfo2"].dt.day_name()

result = user.groupby("weekday")['Idx'].nunique()
print(result)

#############end#############