规则在自然语言处理领域的重要地位

前言：

昨天晚上有个之前在培训机构任教时期的学生，和我沟通自己做了2年Python后端开发了，想向算法方向转型，有哪些需要准备的？

• 接下来呢，我就针对他的这个问题，简单聊一聊；
  1、扎实的代码功底和较强的排BUG能力，是进入算法岗位的最基本要求；
  2、三年前，在我从Python后端开发岗位转入自然语言处理工程师岗位初期，天真的认为纯粹的依赖算法就可以在自然语言处理工程师岗位上游刃有余，但是随着时间的是深入，我发现我的认知是错误的，针对简单的数据来说，针对bert、textcnn、fasttext、RNN等算法确实游刃有余，但是工作中可不只是简单的数据和简单的任务，更多的是较为复杂且稀缺的数据，以金融领域数据和医疗领域数据为典型代表；最近做了很多华泰证券的自然语言处理任务，才真切的发现，少年不知规则香；
  3、针对规则领域的众多方法，我极力推荐大家重点关注正则，如果是实用角度，建议重点关注search、findall、finditer、compile。
  学习链接：https://www.runoob.com/python/python-reg-expressions.html
  4、规则应用示例代码

    def find_another_name(self, block_dic_ls):
        """
        抽取doc中的别名，添加到dict中
        """
        for block_dic in block_dic_ls:
            block_content = block_dic["block_content"]
            results = self._another_name.findall(block_content)
            for target_content in results:
                mo = re.finditer(r"“[\u4e00-\u9fa5]{3,6}”", target_content)
                if mo:
                    for ret in mo:
                        if ret.group() in ["“公司”", "“该公司”", "“申请人”", "“本公司”"]:
                            continue
                        else:
                            key = ret.group()[1:-1]
                            if key not in self.dict:
                                self.dict[key] = "ORG"
        self._lac_module.add_user_dict_items(self.dict)

5、以本人在自然语言处理领域的工作经历来看，在目前至少在金融领域内，短期算法为主规则为辅的大格局依然将持续下去。本质上规则辅助之所以重要，是因为我们在由于数据的稀缺性，就导致了我们要尽量争取更多的要素抽取效果，也就是大家理解的高召回，而针对金融领域的稀缺数据高召回（召回率 = 预测正确数量/真实数量），高召回所带来的另一个潜在问题就是模型模型所预测为这个类别的实体数量往往会比较多，那这时候就需要我们结合badcase中预测错误实体的上下文特征，并合理结合规则进行适当的过滤badcase，进而保障该要素识别的高召回的同时也可以追求高精确率和高的F1值。以上才是我们适当结合规则的基本理论支撑。

此篇博客全是干货，仅写给励志在自然语言领域有所突破的有缘人，重视算法的同时，适当重视规则的应用，还是那句话，少年不知规则香。