Pandas 笔记（一）Pamdas简介和常用功能

一、简介

数据结构

整体上划分pandas有两种数据结构,series(一维的)和DataFrame（二维的）
　　DataFrame的创建：可以使用以下构造函数创建 -pandas.DataFrame( data, index, columns, dtype, copy)
　　　

二、常用功能

包导入：

一般我们需要做如下导入，numpy和pandas一般需要联合使用，并且最好导入的顺序是pandas先导入，不然有时候会报错（为啥报错还有待研究）：

import  pandas as pd
inport numpy as np

数据导入：pd.read_csv(filename)：从CSV文件导入数据

pd.read_table(filename)：从限定分隔符的文本文件导入数据
pd.read_excel(filename)：从Excel文件导入数据
pd.read_sql(query, connection_object)：从SQL表/库导入数据
pd.read_json(json_string)：从JSON格式的字符串导入数据
pd.read_html(url)：解析URL、字符串或者HTML文件
pd.read_clipboard()：从粘贴板获取内容
pd.DataFrame(dict)：从字典对象导入数据

数据导出：

df.to_csv(filename)：导出数据到CSV文件
df.to_excel(filename)：导出数据到Excel文件
df.to_sql(table_name, connection_object)：导出数据到SQL表
df.to_json(filename)：以Json格式导出数据到文本文件

数据查看：

df.head(n)：查看DataFrame对象的前n行
df.tail(n)：查看DataFrame对象的最后n行
df.shape()：查看行数和列数
df.info()：查看索引、数据类型和内存信息
df.describe()：查看数值型列的汇总统计
s.value_counts(dropna=False)：查看Series对象的唯一值和计数
df.apply(pd.Series.value_counts)：查看DataFrame对象中每一列的唯一值和计数

数据选取：

df[col]：根据列名，并以Series的形式返回列－－－－－＞　例：df[‘列名’]
df[[col1, col2]]：以DataFrame形式返回多列
s.iloc[0]：按位置选取数据
s.loc[‘index_one’]：按索引选取数据
df.iloc[0,:]：返回第一行

数据清洗：

df.columns = [‘a’,‘b’,‘c’]：重命名列名
pd.isnull()：检查DataFrame对象中的空值，并返回一个Boolean数组
pd.notnull()：检查DataFrame对象中的非空值，并返回一个Boolean数组
df.dropna()：删除所有包含空值的行
df.fillna(x)：用x替换DataFrame对象中所有的空值
s.astype(float)：将Series中的数据类型更改为float类型
s.replace(1,‘one’)：用‘one’代替所有等于1的值
df.rename(columns=lambda x: x + 1)：批量更改列名
df.set_index(‘column_one’)：更改索引列

数据处理：Filter, Sort, GroupBy

df[df[col] > 0.5]：选择col列的值大于0.5的行
df.sort_values(col1)：按照列col1排序数据，默认升序排列
df.groupby(col)：返回一个按列col进行分组的Groupby对象
df.groupby(col1).agg(np.mean)：返回按列col1分组的所有列的均值
df.pivot_table(index=col1, values=[col2,col3], aggfunc=max)：创建一个按列col1进行分组，并计算col2和col3的最大值的数据透视表
data.apply(np.mean)：对DataFrame中的每一列应用函数np.mean

数据合并：

df1.append(df2)：将df2中的行添加到df1的尾部
df.concat([df1, df2],axis=1)：将df2中的列添加到df1的尾部
df1.join(df2,on=col1,how=‘inner’)：对df1的列和df2的列执行SQL形式的join

数据统计：

df.describe()：查看数据值列的汇总统计
df.mean()：返回所有列的均值
df.corr()：返回列与列之间的相关系数
df.count()：返回每一列中的非空值的个数
df.max()：返回每一列的最大值
df.min()：返回每一列的最小值
df.median()：返回每一列的中位数
df.std()：返回每一列的标准差

常用函数：

df.astypes: 数据格式转换
df.value_counts:相同数值的个数统计
df.hist(): 画直方图
df.get_dummies: one-hot编码，将类型格式的属性转换成矩阵型的属性。比如：三种颜色RGB，红色编码为[1 0 0]

实例分析：　以注释形式在代码中标注了

import pandas as pd
import numpy as np
from hmmlearn import hmm
＃导包
＃设置时间为了看函数的运行时间　优化函数
start_time = pd.datetime.now()
print(start_time)
#导入数据,去重，过滤名字为‘-’的，改日期类型
def get_hmm_df(file_name):
    ＃读文件
    df = pd.read_csv(file_name)
    ＃设置列名
    df.columns = ['时间','用户全名','组件','事件']
    ＃去重
    df = df[['时间','用户全名','组件']]
    df = df.drop_duplicates(subset=None, keep='last')
    ＃组件为空的数据去掉
    df = df[df['组件'].notnull()]
    
    df = df[df['用户全名']!='-']
    df['时间'] = pd.to_datetime(df['时间'])
    #建立代码字典，新建事件代码列
    df_fact = df[['组件']]
    df_fact = df_fact.drop_duplicates(subset=None, keep='last', inplace=False)
    key_dic = {}
    for i in range(df_fact.shape[0]):
        key = df_fact.iat[i,0]
        key_dic[key] = i
     ＃apply用来遍历元素　 lambda使用匿名函数对函数的一种简化   
    df['事件代码'] = df['组件'].apply(lambda x: key_dic[x])
    df.sort_values(by=['用户全名','时间'],inplace=True)
    #建立索引为人名的字典
    df_name = df[['用户全名']]
    df_name = df_name.drop_duplicates(subset=None, keep='last', inplace=False)
    dic = {}
    ＃shape[0]  这块是说上面吧用户名去重了，拿到不同名的数据作为一个数据项，张三李四等．
    for i in range(df_name.shape[0]):
        key = df_name.iat[i,0]
        dic[key] = [[]]
    #填充字典，得到结果是
    #{人名1:[[],[]…]
    # 人名2:[[],[]…]
    # ……}　　　将张三的其他你需要重复信息填入里边
    dic[df.iat[0,1]][-1].append(df.iat[0,3])
    for i in range(1,df.shape[0]):
        time_delta = df.iat[i,0]-df.iat[i-1,0]
        if (time_delta.seconds <= 3600) or (df.iat[i,1] != df.iat[i-1,1]):#换人了，或者同一个人没过时
            dic[df.iat[i,1]][-1].append(df.iat[i,3])
        if time_delta.seconds > 3600 and (df.iat[i,1] == df.iat[i-1,1]):#过时了，且同一个人
            dic[df.iat[i,1]].append([df.iat[i,3],])
    # 获取X2和len_X
    X2_bic_data = [dic[i][j] for i in dic for j in range(len(dic[i]))]
    len_X = [len(i) for i in X2_bic_data]
    X2 = [[j] for i in X2_bic_data for j in i]  
    
    return df,df_fact,df_name,dic,X2,len_X

finish_time = pd.datetime.now()
print(finish_time)