pandas模块化设计

pandas模块化设计

pandas对某一个字段实现功能，返回为多个字段，我们该如何实现？

背景：我们有一个字段，记录了每条通话记录，我们要对该条通话记录进行质检，将通话记录中的违规词识别出来，并且统计违规词的个数对其打分，结果分别为score(int), obeyed_words(string), type(string)
上代码

df['obeyed_words'], df['type'], df['score'] = zip(*df['content'].apply(self.identify_obeyed_words))

下面我们看看self.identify_obeyed_words)是怎么实现的？

    def identify_obeyed_words(self, content):
        if pd.isnull(content):
            return '', '', 0
        obeyed_words = []
        ah = ac_automation()
        ah.parse(dict(self.GetKeyWords(), **self.GetRecall()))
        w1 = ah.check_words(text=content, rm_list=self.GetRecall().values())
        w2 = ah.recall_search(content, self.GetRecall())
        obeyed_words.extend(w1 + w2)
        obeyed_words = list(set(obeyed_words))
        obeyed_type = Check(dict(self.GetKeyWords(), **self.GetRecall()), obeyed_words)
        score = len(obeyed_words)
        return ",".join(obeyed_words), obeyed_type, score

其中ah = ac_automation()以及ah.parse(dict(self.GetKeyWords(), **self.GetRecall()))这段逻辑在初始化一棵字典树。w1 = ah.check_words(text=content, rm_list=self.GetRecall().values())以及w2 = ah.recall_search(content, self.GetRecall())在检测以及召回所有的违规词。obeyed_type = Check(dict(self.GetKeyWords(), **self.GetRecall()), obeyed_words)对已检查出的违规词进行违规类型判定。return ",".join(obeyed_words), obeyed_type, score最后我们返回新产生的三个字段。

涉及的知识点

1. python如何将两个字典合并？
   dict(dic1, **dic2)
2. zip的操作

# 与 zip 相反，zip(*) 可理解为解压，返回组成列表的一个个的元祖
a=[1,2,3]
b=['A','B','C']
c=[4,5,6]
zip_1 = zip(a,b,c)
x,y,z=zip(*zip_1)
print(x,y,z) #(1, 2, 3) ('A', 'B', 'C')(4, 5, 6)