Pandas 处理数据的常用方法

Series 是一种类似于一维数组的对象，它由一组数据（各种Numpy数据类型）以及一组与之相关的数据标签（即索引）组成。

pandas.Series( data, index, dtype, name, copy)
data：一组数据(ndarray 类型)。

index：数据索引标签，如果不指定，默认从 0 开始。

dtype：数据类型，默认会自己判断。

name：设置名称。

copy：拷贝数据，默认为 False。

a = ["Google", "lcl", "Wiki"]

myvar = pd.Series(a, index = ["x", "y", "z"])

print(myvar)

sites = {1: "Google", 2: "lcl", 3: "Wiki"}

myvar = pd.Series(sites, index = [1, 2], name="Series-TEST" )

print(myvar)

DataFrame 是一个表格型的数据结构，它含有一组有序的列，每列可以是不同的值类型（数值、字符串、布尔型值）。DataFrame 既有行索引也有列索引，它可以被看做由 Series 组成的字典（共同用一个索引）。

pandas.DataFrame( data, index, columns, dtype, copy)
data：一组数据(ndarray、series, map, lists, dict 等类型)。

index：索引值，或者可以称为行标签。

columns：列标签，默认为 RangeIndex (0, 1, 2, …, n) 。

dtype：数据类型。

copy：拷贝数据，默认为 False。

data = [['Google',10],['lcl',12],['Wiki',13]]
df = pd.DataFrame(data,columns=['Site','Age'],dtype=float)
data = {'Site':['Google', 'lcl', 'Wiki'], 'Age':[10, 12, 13]}
df = pd.DataFrame(data)
print (df)
data = [{'a': 1, 'b': 2},{'a': 5, 'b': 10, 'c': 20}]

df = pd.DataFrame(data)

print (df)

Pandas 数据清洗
首先随机生成一个excle

import pandas as pd
aa='qwertyuiopasdfghjklzxcvbnmQWERTYUIPASDFGHJKLZXCVBNM'
name=lambda :''.join([random.choice(aa) for _ in range(5)]).capitalize()
Date=['2023/09/01', '2023/09/02' , '20230903']
data = {'姓名': [name() for i in range(1000)],
        'age': [random.randint(1,120) for i in range(1000)],
        '性别': [random.choice(["男",'女']) for i in range(1000)],
        '个性扫描': [None if random.randint(0,5)==0 else  round(random.uniform(10, 100), 2) for i in range(1000)],
        'iq': [None if random.randint(0,5)==0 else round(random.uniform(60, 140), 2) for i in range(1000)],
        '胜任力': [None if random.randint(0,5)==0 else round(random.uniform(0, 60), 2) for i in range(1000)],
        'Date': [None if random.randint(0,5)==0 else random.choice(Date) for i in range(1000)],
        }
df = pd.DataFrame(data)
df.to_excel('test.xlsx', index=None)
df = pd.read_excel('test.xlsx', sheet_name='Sheet1')

判断空行

print(df['iq'].isnull())

判断是否存在

contains()Series或DataFrame对象是否包含特定的值。这个函数返回一个布尔型的Series或DataFrame，其中True表示原始对象包含指定的值，False则表示不包含

注意事项：

contains()函数默认情况下是大小写敏感的，如果你想进行大小写不敏感的搜索，你可以将参数case设置为False。

contains()函数只能用于字符串类型的数据，如果你的数据包含其他类型（如整数、浮点数等），你需要先将它们转换为字符串。

contains()函数对于大型数据集可能会非常慢，因为它需要遍历整个数据集来查找匹配的值。如果你需要在大型数据集上使用这个函数，可能需要考虑其他更有效的方法。

result = df['姓名'].str.contains('xaab',case=False)
print(df[df['姓名'].str.contains('xaab')])
count = df['姓名'].str.contains('xaab').sum()
print(count)
删除空行

df.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)
axis：默认为 0，表示逢空值剔除整行，如果设置参数 axis＝1 表示逢空值去掉整列。

how：默认为 'any' 如果一行（或一列）里任何一个数据有出现 NA 就去掉整行，如果设置 how='all' 一行（或列）都是 NA 才去掉这整行。

thresh：设置需要多少非空值的数据才可以保留下来的。

subset：设置想要检查的列。如果是多个列，可以使用列名的 list 作为参数。

inplace：如果设置 True，将计算得到的值直接覆盖之前的值并返回 None，修改的是源数据。

df = pd.read_excel('test.xlsx', sheet_name='Sheet1')
df_dropna_row=df.dropna(axis=0, how='any', thresh=None, subset=['iq', '胜任力'], inplace=False)
print(df_dropna_row)

也可以指定忽略这些

missing_values = ["n/a", "na", "--"]
df = pd.read_csv('property-data.csv', na_values = missing_values)
替换空值

df.fillna(0, inplace=True)
print(df)
df['iq'].fillna(0, inplace = True)
替换空单元格的常用方法是计算列的均值、中位数值或众数。

Pandas使用 mean()、median() 和 mode() 方法计算列的均值（所有值加起来的平均值）、中位数值（排序后排在中间的数）和众数（出现频率最高的数）

x = df["iq"].mean()
x = df["iq"].median()
x = df["iq"].mode()

df["iq"].fillna(x, inplace = True)

print(df.to_string())
替换旧值

da=df.replace('男', '女')
print(da)

替换表头

print(df.rename(columns={'姓名': 'name'}))
处理日期格式

df['Date'] = pd.to_datetime(df['Date'])
print(df.to_string())
重复数据

print(df.duplicated())

删除重复数据

df.drop_duplicates(inplace=True)
print(df)
Pandas 数据处理
数据选择和切片
print(df.loc[1, 'iq'])
print(df.iloc[1, 5])
df.loc[2, 'age'] = 30 # 修改数据

print(df)
for x in df.index:
  if df.loc[x, "age"] > 100:
      df.loc[x, "age"] = 0
      # df.drop(x, inplace = True)  #也可以删除
      
df = df.loc[df['iq'] >= 90, ['姓名', 'iq']]
print(df)
print(df.filter(items=['iq', 'age'])) # 选择列      
print(df.filter(regex='(a.e)'))  #用正则选择列
print(df.sample(n=5)) #随机算则五行数据
print(df4[df4['iq'] > 100]) #筛选iq大于100的
df.query('column_name > value')

print(df4[(df4['iq'] > 100) & (df4['age'] >= 18)])
print(df.query('iq > 100 & age > 18'))


数据排序
print(df.sort_values('age',ascending=False)) # ascending 正序倒序
print(df.sort_values(['iq', 'age'], ascending=[True, True])) #多条件筛选
print(df.sort_index())  # 按照索引排序

数据分组和聚合

分组计算不同性别的iq平均值

grouped = df.groupby('性别')['iq']
grouped_iq = df.groupby('性别')['iq'].mean()
print(grouped)
grouped = df.groupby('性别').agg({'age': 'mean', 'iq': 'mean'})
print(grouped)

对分组后的数据进行聚合操作

print(grouped.aggregate(['sum', 'mean', 'min', 'max', 'count', 'first', 'last', 'prod', 'std', 'var', 'median', 'quantile']))
sum: 求和函数，用于计算一个可迭代对象中所有元素的总和。
mean: 平均值函数，用于计算一组数据的平均值。
min: 最小值函数，用于找出一组数据中的最小值。
max: 最大值函数，用于找出一组数据中的最大值。
count: 计数函数，用于统计一个可迭代对象中某个元素出现的次数。
first: 第一个元素函数，用于获取可迭代对象中的第一个元素。
last: 最后一个元素函数，用于获取可迭代对象中的最后一个元素。
prod: 求积函数，用于计算一组数据的乘积。
std: 标准差函数，用于计算一组数据的标准差。
var: 方差函数，用于计算一组数据的方差。
median: 中位数函数，用于计算一组数据的中位数。
quantile: 分位数函数，用于计算一组数据的指定分位数。
# 生成透视表

print(df.pivot_table(values='iq', index='age', columns='性别', aggfunc='mean'))

数据合并
data2={'姓名': df['姓名'].tolist(),
            'python分数': [random.randint(0,100) for i in range(len(df['姓名'].tolist()))]
            }
df2 = pd.DataFrame(data2)
df3 = pd.concat([df, df2]) # 将多个数据框按照行或列进行合并
print(df3)
df4 = pd.merge(df, df2, on='姓名') # 按照指定列将两个数据框进行合并
print(df4)