大数据挖掘笔记1

info()函数

info()函数用于打印DataFrame的简要摘要，显示有关DataFrame的信息，包括索引的数据类型dtype和列的数据类型dtype，非空值的数量和内存使用情况。
info()函数参数介绍
DataFrame.info (self, verbose=None, buf=None, max_cols=None, memory_usage=None, null_counts=None)

#（1）定义一个Dataframe
int_values = [1, 2, 3, 4, 5]
text_values = ['alpha', 'beta', 'gamma', 'delta', 'epsilon']
float_values = [0.0, 0.25, 0.5, 0.75, 1.0]
df = pd.DataFrame({"int_col": int_values, "text_col": text_values,
                  "float_col": float_values})
df
#（2）利用info()函数
df.info(verbose=True)

<class 'pandas.core.frame.DataFrame'>
RangeIndex: 5 entries, 0 to 4
Data columns (total 3 columns):
int_col      5 non-null int64
text_col     5 non-null object
float_col    5 non-null float64
dtypes: float64(1), int64(1), object(1)
memory usage: 248.0+ bytes

Python中的shape[0]、shape[1]和shape[-1]分别是什么意思

shape函数是Numpy中的函数，它的功能是读取矩阵的长度，比如shape[0]就是读取矩阵第一维度的长度。

直接用.shape可以快速读取矩阵的形状，使用shape[0]读取矩阵第一维度的长度。

一般来说，-1代表最后一个，所以shape[-1]代表最后一个维度，如在二维张量里，shape[-1]表示列数，注意，即使是一维行向量，shape[-1]表示行向量的元素总数，换言之也是列数

import pandas as pd

df = pd.DataFrame([['a', 'man', 120, 90],
                   ['b', 'woman', 130, 100],
                   ['a', 'man', 110, 108],
                   ['a', 'woman', 120, 118]], columns=['level', 'gender', 'math','chinese'])
group = df.groupby('gender')
print(group)
for i,j in group:
    print(i)
    print(j)
    print('---')

man
  level gender  math  chinese
0     a    man   120       90
2     a    man   110      108
---
woman
  level gender  math  chinese
1     b  woman   130      100
3     a  woman   120      118
---

group = df.groupby(['gender', 'level'])
# 先按照'grade'列的值来分组。每组内，再按'level'列来分组。也返回一个groupby对象
for key, value in group:
    print(key)
    print(value)
    print("")
('man', 'a')
  level gender  math  chinese
0     a    man   120       90
2     a    man   110      108

('woman', 'a')
  level gender  math  chinese
3     a  woman   120      118

('woman', 'b')
  level gender  math  chinese
1     b  woman   130      100

组内应用函数：df.groupby(column1)[column2].apply()

每组内，可以指定只求某一列的统计指标，包括平均数，方差等。function 可以是mean，或者std等。

group = df.groupby(['gender'])
df1 = group['math'].apply(np.mean) # 求组内均值
print(df1)
gender
man      115.0
woman    125.0
Name: math, dtype: float64

for column in list(df.columns[df.isnull().sum() > 0]):
    mean_val = df[column].mean()
    df[column].fillna(mean_val, inplace=True)

df_all['Age'] = df_all.groupby(['Sex', 'Pclass' ])['Age'].apply(lambda x: x.fillna(x.median ()))

import pandas as pd
import numpy as np
df = pd.DataFrame([['a', 'man', 120, 90],
                   ['b', 'woman', None , 100],
                   ['a', 'man', 110, 108],
                   ['a', 'woman', 120, 118]], columns=['level', 'gender', 'math','chinese'])
group = df.groupby(['gender'])
df1 = df.groupby(['gender'])['math'].apply(lambda x: x.fillna(x.median()))
#df['math']=df1
print(df1)

gender   
man     0    120.0
        2    110.0
woman   1    120.0
        3    120.0
Name: math, dtype: float64