数据简单处理和分析

'''
简单数据分析流程：
1、明确目的
2、理解数据
3、数据清洗
4、数据分析和可视化
5、结论和建议

分析方法：
1、常用的统计方法：常见统计量、构建相关指标
2、图表法

'''
#导库
import seaborn as sns
import pandas as pd
import matplotlib.pyplot as plt
import os
import numpy

# 1、查看和理解数据
data = pd.read_csv("data.csv", dtype = {'trade_date' : 'object'},encoding='utf-8')

# data = pd.read_csv('data.csv',encoding='utf-8')
# print(data)
print(data.info())

# 2、数据清洗
# （1）计算每一列的缺失率(利用匿名函数)
data.apply(lambda x:sum(x.isnull())/len(x),axis=0)
# （2）拷贝数据并去空值
df = data.dropna(how='any').copy() #去重和拷贝格式

#前提时date字段为object类型才可以，int类型会出错
df.trade_date = pd.to_datetime(df.trade_date,errors='coerce')  #转换格式并做容错处理 errors='coerce'
# pd.to_datetime(df['trade_date'],format='%d/%m/%Y %H:%M:%S', errors='coerce')
# df.trade_date = df.trade_date.dt.date  #1970-01-01格式(只取年月日)

# 去重
df[df['pe'] > 0]['eps'].drop_duplicates()

# 计算人均股本
df.drop(df[df['holder_num']==0].index,inplace=True) #删除除数为0的行,改变原数据
df['per_shrare']=df.apply(lambda x:x[7]/x[16],axis=1)

# 3、数据分析和可视化
# （1）按照每股未分配利润分组求和，取利润环比增长
corre = df.groupby('per_undp').sum()['profit_yoy'].sort_values(ascending=False).head(10)
# （2）绘图
import plotly as py
import plotly.graph_objs as go
py.offline.init_notebook_mode()
pyplot = py.offline.iplot
trace_basic=[go.Bar(x=corre.index.tolist(),y=corre.values.tolist(),marker=dict(color='orange'),opacity=0.50)]  #数据 opacity=.50透明度
layout = go.Layout(title='每股未分配利润和利润环比增长的关系',xaxis=dict(title='每股未分配利润')) #布局
figure = go.Figure(data=trace_basic,layout=layout) #把数据和布局弄到一起
pyplot(figure)

# （3）按照每股未分配利润分组求和，取股东人数
corre = df.groupby('per_undp').sum()['holder_num'].sort_values(ascending=False).head(10)
trace_basic=[go.Bar(x=corre.index.tolist(),y=corre.values.tolist(),marker=dict(color='red'),opacity=0.50)]  #数据 opacity=.50透明度
layout = go.Layout(title='每股未分配利润和持股人数的关系--前十',xaxis=dict(title='每股未分配利润')) #布局
figure = go.Figure(data=trace_basic,layout=layout) #把数据和布局弄到一起
pyplot(figure)

# (4)处理和形成月份列
df['month']=pd.to_datetime(df.trade_date,errors='coerce').dt.month
# (5)按月份数分组对持股人数进行统计
sns.set(style='darkgrid',context='notebook',font_scale=1.2)

df.groupby('month').sum()['holder_num'].sort_values(ascending=False).head(10).plot(kind='bar')

# 分类聚合统计---按照不同的月份来统计pe,holder_num和per_undo
holder = df['holder_num'].groupby('month').agg({'pe':'nunique','holder_num':np.sum,'per_undo':np.sum})
holder.discribe() #描述性统计

最后结论和建议........