Pandas将单列XML格式数据转化为字典再拆分成多列 列表拆分成多列

单列XML扩展成多列

遇到了个需求是需要把XML格式的数据拆分成多列的一个需求，本来需要使用spark进行处理的，但是没想到什么优雅的解决方案，所以打算先使用pandas找找感觉。

样例数据如下所示。

df = pd.DataFrame(
    [
        {"uid": 1, "detail": '<col name="类型">家电</col><col name="错误信息">无</col><col name="状态">失败</col>'},
        {"uid": 2, "detail": '<col name="错误信息">无</col><col name="状态">失败</col>'},
        {"uid": 3, "detail": '<col name="价格">1337</col><col name="类型">点卡</col><col name="状态">成功</col>'}
    ]
)

然后使用re正则来提取出属性名字与值。

 

# 定义一个函数f，用于将xml用正则解析成列表元组的格式后再转化成kv对的字典。
def f(line):
    return dict(re.findall('<col name="(.*?)">(.*?)</col>', line,re.S))
df["detail"] = df["detail"].apply(f)

解析成字典后的效果是这样滴。

 

最后我们需要展开成多列，也是很简单的直接给.apply()传入一个pd.Series方法就展开了。

new_df = df["detail"].apply(pd.Series)
pd.concat([df, new_df], axis=1)

 

多列List扩展成多列

将sku_id扩展为多列，出现的为1，没有出现的为0

def func(x):
    temp_dict = {}
    for sid in x:
        temp_dict[sid] = 1
    return temp_dict
temp2["sku_id"] = temp2["sku_id"].apply(func)

new_df = temp2["sku_id"].apply(pd.Series).fillna(0)
new_df = pd.concat([temp2, new_df], axis=1)
new_df.drop(columns=["sku_id"], axis=1, inplace=True)

大概思路就是换成字典，然后就是和上面的方法一样了。

最后的效果是这样的:详细版原文地址：https://l337.top/archives/179（在新窗口中打开）