python数据预处理工作记录

检测string数据有nan值的情况

报错场景

titles = json.loads(row[‘titles’].replace(“'”, ‘"’))
^^^^^^^^^^^^^^^^^^^^^^^^^^^^
AttributeError: ‘float’ object has no attribute ‘replace’

检测

import pandas as pd

string = pd.NA

if pd.isna(string):
    print("The string is NaN.")
else:
    print("The string is not NaN.")

pandas dataframe检查是否有名为aa的列

import pandas as pd

# 假设 df 是你的 DataFrame
df = pd.DataFrame({
    'aa': [1, 2, 3],
    'bb': [4, 5, 6],
    'cc': [7, 8, 9]
})

# 检查是否存在名为 'aa' 的列
if 'aa' in df.columns:
    print("列名 'aa' 存在")
else:
    print("列名 'aa' 不存在")

python 将文本数据保存为json、csv、jsonl文件方法

pandas数据保存为.csv文件

df.to_csv('data.csv', index=False, encoding='utf-8')

json列表数据保存为.json文件

import json

# 示例数据
data = [
    {
        "value": {
            "start": 268,
            "end": 273,
            "text": "博士生导师",
            "labels": [
                "title"
            ]
        }
    }
]

# 保存数据到 .json 文件
with open('data.json', 'w', encoding='utf-8') as file:
    json.dump(data, file, ensure_ascii=False, indent=4)

print("数据已保存到 data.json 文件中")