带你飞

前沿： 写这个logging模块主要是为了给自己填坑，之前一直遇到logging和print分开处理的问题，但是懒得去弄，这几天受不了还是查了一下，下面给出实际的调试，收藏不谢。import logging# 第一步，创建一个loggerlogger = logging.getLogger()logger.setLevel(logging.INFO) # Log等级总开关 此时是INFO# 第二步，创建一个handler，用于写入日志文件logfile = './log.txt'fh

前沿： 最近在准备2021年搜狐的语义匹配大赛，虽然之前已经打过一次比赛了，但是这次难度相对更大一点，因为官方给的baseline实在没办法继续创新工作，只能自己写一个pytorch版本的。开辟这样一个博客的目的是为了记录自己的学习进度。...

虽然今天比赛还没有结束，但是我的比赛已经结束了，我很后悔没有尝试预训练。后面如果在论文实现过程中，发现新的想法一定要仔细斟酌，如果自己不能确定，可以寻求帮助，一定引起重视，多想永远不会错，但是一定考虑时间成本，做好选择。下面给出比赛收获和总结，引以为戒，也引以为傲。获得的收获：完整的构建模型训练过程，包括数据预处理，数据加载，优化器设置，学习率递减（模型学习率，训练epoch学习率），基于transformers的预训练模型加载，基于多任务的loss优化（gradNorm, dtp），基于单独分