Pandas处理缺省数据

背景：

SQL查询数据为空''或者null的字段，如果查询字段为''或者NULL需要设置为'NULL'

 

解决方案：

只处理指定字段

在 Pandas 中处理缺失数据（如 SQL 查询结果中的空字符串或 NULL 值）可以通过 `fillna()` 方法来实现。您可以将空字符串或 NULL 值替换为您想要的值，比如将其替换为字符串 `'NULL'`。

 

下面是一个示例，演示如何将 DataFrame 中的空字符串或 NULL 值替换为 `'NULL'`：

 

```python

import pandas as pd

 

# 假设 df 是您的 DataFrame，包含从 SQL 查询中获取的数据

# 假设字段 'column_name' 中包含空字符串或 NULL 值

 

# 将空字符串替换为 'NULL'

df['column_name'] = df['column_name'].replace('', 'NULL')

 

# 将 NULL 值替换为 'NULL'

df['column_name'].fillna('NULL', inplace=True)

 

# 打印处理后的 DataFrame

print(df)

```

 

在这个示例中，首先使用 `replace()` 方法将空字符串替换为 `'NULL'`，然后使用 `fillna()` 方法将 NULL 值替换为 `'NULL'`。通过这样处理，您可以将 DataFrame 中的空字符串和 NULL 值统一替换为 `'NULL'`。

 

处理所有字段

如果您不知道具体哪些列可能包含空字符串或 NULL 值，您可以使用循环遍历 DataFrame 的列，并对每一列进行处理。以下是一个示例代码，可以处理 DataFrame 中所有列的空字符串或 NULL 值：

 

```python

import pandas as pd

 

# 假设 df 是您的 DataFrame，包含从 SQL 查询中获取的数据

 

# 遍历 DataFrame 的每一列

for col in df.columns:

    # 将空字符串替换为 'NULL'

    df[col] = df[col].replace('', 'NULL')

   

    # 将 NULL 值替换为 'NULL'

    df[col].fillna('NULL', inplace=True)

 

# 打印处理后的 DataFrame

print(df)

```

 

这段代码会遍历 DataFrame 的每一列，将列中的空字符串替换为 `'NULL'`，并将 NULL 值替换为 `'NULL'`。这样可以确保处理了所有列中可能存在的空字符串或 NULL 值。

 

请注意，这种方法会将所有列中的空字符串或 NULL 值替换为 `'NULL'`，如果您希望只针对特定列进行处理，可以在循环中添加条件来判断是否处理该列。