数据分析 -- pandas

1. Pandas简介

1. Pandas基于Numpy实现，扩展数据类型，更关注数据与索引之间的关系；
2. Pandas可以处理各种文件格式，CSV文件、JSON文件、XML文件、Parquet文件、SQL文件
3. Pandas提供两个数据类型：Series，DataFrame
4. 官方文档：https://pandas.pydata.org/pandas-docs/stable/index.html
5. 中文文档：https://www.pypandas.cn/docs/

2. Pandas类型

2.1 Series类型

1. 一组(列)数据和其相关的数据索引组成,索引在左边值在右边,可以通过索引访问;
2. 可以保存任何类型数据(int/str/float/obj…)的一维数组;
3. 如果没指定索引，会自动创建一个0到n-1的整数型索引，也可以使用index指定索引

• 数据构造

# 默认索引
ser = pd.Series([9,8,7,6,5])
print(ser)
>0    9
 1    8
 2    7
 3    6
 4    5
 dtype: int64

# 指定索引
ser = pd.Series(range(5), index= ['a','b','c','d','e'])
print(ser)
>a    0
 b    1
 c    2
 d    3
 e    4
 dtype: int64

# numpy数组创建
ser = pd.Series(np.array([1,2,3]))
print(ser)
>0    1
 1    2
 2    3
 dtype: int64

# 字典创建
ser = pd.Series({'name': '张三', 'age': 18, 'sex': 'F','hobby': '足球'})
print(ser)
>name     张三
 age      18
 sex       F
 hobby    足球
 dtype: object

	0
name	张三
age	18
sex	F
hobby	足球

2.2 DataFrame类型

1. 表格型的数据结构，一组有序的列数据和其共用的索引组成，每列可以是不同的值类型(数值、字符串、布尔值等)；
2. DataFrame既有行索引也有列索引，列可以通过列名访问，行通过索引访问

• 数据构造

# 二维数组转DataFrame对象
list = [[12,14,16,18], [2,4,6,8], [22,24,26,28]]
df = pd.DataFrame(list, columns = ['a','b','c','d'], index = [11,22,33])
print(df)
>  	a	b	c	d
 11	12	14	16	18
 22	2	4	6	8
 33	22	24	26	28

# dict转DataFrame对象
data = {'name':['陈大','钱二','张三','李四'],
       'age':[25,27,26,23],
       'sex':['男','女','男','男'],
       'hobby':['足球','篮球','羽毛起','乒乓球'],
       'height': [180, 167, 145, 187]}
df = pd.DataFrame(data)
print(df)
>    name  age  sex  hobby  height
 0   陈大   25   男    足球     180
 1   钱二   27   女    篮球     167
 2   张三   26   男   羽毛起     145
 3   李四   23   男   乒乓球     187

	name	age	sex	hobby	height
0	陈大	25	男	足球	180
1	钱二	27	女	篮球	167
2	张三	26	男	羽毛起	145
3	李四	23	男	乒乓球	187

3. pandas操作

3.1 数据查询

• 查看数据

df             # 查看全部,
df.info        # 基本信息
df.head(2)     # 查看前2行,
df.tail(1)     # 查看最后1行,
df.index       # 索引：RangeIndex(start=0, stop=4, step=1),
df.columns     # 列名：Index(['name', 'age', 'sex', 'hobby', 'height'], dtype='object') ,
df.values      # 查看全部（numpy.ndarray类型）,
df.describe()  # 查看统计信息,
df.to_numpy()  # 转NumPy 对象,
df.T           # 转置,
df.sort_index(axis=1, ascending=False)   # 列名按ASCII值排序
df.sort_values(by='age')                 # 列值排序,

• 选择数据

df.name        # 同df['name']，选择单列，生成Series,

# iloc 基于位置来选择数据
df.iloc[2]            # 取第3行,
df.iloc[:,2]          # 取第3列,
df.iloc[2,2]          # 取第3行第3列,
df.iloc[1:3,1:3]      # 取第1-3行的第1-3列,

# loc 基于标签来选择数据
df.loc[df['name']== '陈大']       # 选择name='陈大'的行,
df.loc[2:4, ['name','height']]   # 行切片后选择特定列,
df.loc[2, ['name','height']]     # 选择行的特定列,
df.loc[df['name']== '陈大', ['name','height']]  # 选择name='陈大'的行的特定列

csv文件操作

• csv/txt文件操作

# 读取csv文件，忽略空行(不包括先有数据值后被清空的行)
df = pd.read_csv("tmp/nbt/0623.csv", dtype=str, keep_default_na=True, skip_blank_lines=True)
# 删除全部为NaN的行(数据值被清空的行)
df = df.dropna(axis=0, how='all')
# 删除所有的空列
df = df.dropna(axis=1, how='all')
# 所有的缺失值（NaN）替换为空字符串（""）
df.fillna("", inplace=True)

# 文件关联
# on： 多个是，可使用['a', 'b',...]
# how: inner/outer/left/right
merged_df = df1.merge(df2[["border_id", "match_lane_type"]], left_on="pred_mark_id", right_on="border_id", how="left") 

# 文件合并
merged_df = pd.concat([df1, df2], ignore_index=True)

# 文件去重
df = df.drop_duplicates()

# 文件写入
df.to_csv(file_path, index=False)

• 多行合并为1行

# 根据指定字段分组，然后对其他列进行处理
def merge_rows(group, group_field):
    result = group.iloc[0].copy()  # 复制第一行的值
    for col in group.columns:
        if col != group_field:  # 跳过指定的分组字段
            unique_values = group[col].unique()  # 获取该列的唯一值
            if len(unique_values) == 1:  # 如果所有值都相同，保留一个值
                result[col] = unique_values[0]
            else:
                result[col] = ','.join(map(str, unique_values))  # 如果值不同，合并值(以逗号分隔)
                # result[col] = list(unique_values)  # 如果值不同，合并为列表(以逗号分隔)
    return result


def csv_merge_rows_by_group(input_file, output_file, group_field):
    # 读取CSV文件
    df = pd.read_csv(input_file)

    # 根据指定字段分组并合并行
    merged_df = df.groupby(group_field).apply(lambda x: merge_rows(x, group_field)).reset_index(drop=True)

    # 保存处理后的数据到新的CSV文件
    merged_df.to_csv(output_file, index=False)

• 多个csv合并为excel

import os
import pandas as pd

def merge_csv_to_excel(target_dir, excel_file):
    # 获取文件夹中的所有CSV文件
    csv_files = [os.path.join(target_dir, f) for f in os.listdir(target_dir) if f.endswith('.csv')]

    with pd.ExcelWriter(excel_file, engine='openpyxl') as writer:
        # 遍历所有CSV文件
        for csv_file in csv_files:
            # 读取CSV文件并去重行(不做任何类型转换)
            df = pd.read_csv(csv_file, low_memory=False)
            df = df.drop_duplicates()

            # 提取文件名作为工作表名称
            sheet_name = os.path.splitext(os.path.basename(csv_file))[0]
            print(sheet_name, df.match_result.value_counts())

            # # 提取csv目标数据
            # df = df[~df['match_result'].str.contains('匹配成功')]

            # 将数据写入工作表
            df.to_excel(writer, sheet_name=sheet_name, index=False)