PostgreSQL编写Python函数进行简单数据清洗

一、需求描述

去掉字段中多余的空格、首尾空格、回车、换行等字符，具体可以在函数体中添加规则，通过正则表达式等方式进行替换为""

二、自定义Python函数

import re
def Data_cleaning(arguments):#数据清洗函数
    arguments=str(arguments)
    arguments=re.sub('[ \s]+',' ',arguments)#去掉多余空格，保留一个
    arguments=re.sub('[\n\t\r]','',arguments)#去掉回车换行

    arguments=arguments.strip(' ,')#去掉首尾空格等
    if arguments==''or arguments=='None':
        arguments=None
    return arguments

二、在PostgreSQL中创建Python函数

-- 数据清洗
DROP FUNCTION IF EXISTS pycleaning;
CREATE FUNCTION pycleaning(arguments text)
  RETURNS text
AS $$
global arguments
import re
arguments=str(arguments)
arguments=re.sub('[ \s]+',' ',arguments)#去掉多余空格，保留一个
arguments=re.sub('[\n\t\r]','',arguments)#去掉回车换行

arguments=arguments.strip(' ,')#去掉首尾空格等
if arguments==''or arguments=='None':
    arguments=None
return arguments
$$ LANGUAGE plpython3u;

三、自定义函数的使用

UPDATE
"表名"
SET
"清洗后字段名"=pycleaning("清洗前字段名");

四、效果展示