Datawhale 12 月组队学习笔记（七）：pandas综合练习

思维导图整理

练习一：企业收入的多样性

import pandas as pd
import numpy as np
df1 = pd.read_csv('company.csv')
df2 = pd.read_csv('company_data.csv')
print(df1.head())
print(df2.head())
print(df1['证券代码'].sort_values().unique())# 排序查看df1证券代码
print(df2['证券代码'].sort_values().unique())# 排序查看df1证券代码
print(df2['日期'].sort_values().unique())# 排序查看df1证券代码
print(type(df['日期'][0])  #查看日期类型为str
df2['日期'] = pd.to_datetime(df2['日期']) #转换为日期类型
print(type(df2['日期'][0]))  #查看修改后的日期类型
df2['年'] = df2['日期'].apply(lambda x:x.year) #提取年份信息并建立年变量
print(df2.head(10))
df3 = df2.set_index(['证券代码','年'])#需设置2个行索引(证券代码和年）
print(df3)
df3['p(x_i)'] = df3.groupby(['证券代码', '年'])['收入额'].apply(lambda x: (x/x.sum()))
df3['log_res'] = df3['p(x_i)'].apply(lambda x: np.log(x))
#定义熵计算s_sal
def s_sal(x):
    srs = x['p(x_i)'] * x['log_res']
    res = (-1) * srs.sum()
    return res
res = df3.groupby(['证券代码','年']).apply(s_sal)
res = res.reset_index()
res.columns = ['证券代码','日期','收入熵指标']
res = res.set_index(['证券代码','日期'])
# print(res.head(10))
df1['证券代码'] = df1['证券代码'].str.replace('#','')
df1['证券代码'] = df1['证券代码'].apply(lambda x: int(x))
print(df1.head(10))
df4 = df1.set_index(['证券代码','日期'])#需设置2个行索引(证券代码和年）
print(df4.join(res))
#
                收入熵指标
证券代码   日期            
7      2014  3.070462
403    2015  2.790585
408    2016  2.818541
       2017       NaN
426    2015  3.084266
...               ...
600978 2011  3.319059
       2014  2.788100
       2015  3.012628
       2016  3.021157
       2017       NaN

[1048 rows x 1 columns]

练习二：组队学习信息表的变换
请把组队学习的队伍信息表变换为如下形态，其中“是否队长”一列取1表示队长，否则为0

filename = open('./team_infor2.csv')
data = pd.read_csv(filename, encoding = 'utf-8')#还没弄明白
print(data.head())
data1 = data.drop('所在群', axis=1)
print(data1.head())#确定表结构，宽表变长表
data2 = data1.set_index(['队伍名称'])
print(data2.head())

-未完待续