二零二一年终总结

今天是12.13，一晃二十六周岁了。从2017年开始，每年都会简单总结一下一年中经历的事情，不知不觉已经五年了。

二零一七年终总结 | 韦阳的博客 二零一八年终总结 | 韦阳的博客 二零一九年终总结 | 韦阳的博客 二零二零年终总结 | 韦阳的博客

回顾过去五年，从大三到今年毕业正式工作，好像干了很多事情，又好像什么都没干。也就混到硕士毕业，侥幸发了篇ACL，然后又侥幸进入字节从事新的研究方向。这五年来唯一不变的可能就是一直在打英雄联盟吧，还是当年的开黑队友，还是熟悉的味道。

2021年是正式成为社会人的一年，从校园老油条蜕变为了职场萌新。总结下来就是，上半年在忙着毕业，下半年在忙着开发LightSeq。

今年过年在上海度过了人生第一个不在家的春节，一是因为疫情回去要做核酸，二是因为毕业论文没多久要交了。连编带凑，花了将近一个月赶出了一篇像模像样的毕业论文。后面的毕业流程走的出乎意料的快，导师也没怎么修改，短短数周就答辩结束，仿佛学校盼着我们早日离校步入社会。拿完优秀毕业生、优秀毕业论文和国家奖学金，实验室最后聚了聚餐，接着就正式毕业了。

七年师大，青春永不毕业

学校里的事就这么多，主要精力还是在公司里。上半年进一步完善LightSeq推理引擎，写了很多文章对LightSeq进行了大量的介绍和宣传，也给很多想入门CUDA和模型加速的同学科普了基本的知识。

GitHub - bytedance/lightseq: LightSeq: A High Performance Library for Sequence Processing and Generation 熬了几个通宵，我写了份CUDA新手入门代码 只用两行代码，我让Transformer推理加速了50倍

还在NAACL 2021上发表了一篇关于LightSeq推理引擎相关技术的论文，进行了技术沉淀，推理引擎的开发也算是告一段落了。

LightSeq: A High Performance Inference Library for Transformers

今年最重要的工作内容要数LightSeq训练引擎了，从4月份开始，到6月份结束，历时三个月和同事们一起开发出了业界首个Transformer全流程训练加速引擎。训练引擎从0到1的整个过程我都有参与，这期间为了快速融入到项目的开发中，不得不自学了CUDA和模型加速的相关知识，这些之前在学校都是没有接触过的。项目开源后也投递了论文，虽然没有中，但也积累了不少经验，懂了一些系统领域会议论文的写法。leader还安排我去QCon大会进行了分享，宣传了一波LightSeq技术。

支持Transformer全流程训练加速，最高加速3倍！字节跳动LightSeq上新 LightSeq2: Accelerated Training for Transformer-based Models on GPUs

目前的话在开发LightSeq量化推理，在不久的将来就会和大家正式见面，模型推理速度也将迈上一个新的台阶。

生活方面，下半年重新开始做饭了，外卖一方面不卫生，一方面也吃腻了，不一定有自己做的好吃。不过租的房子厨房实在太小了，做一次饭都要收拾很久，经常也会不想做。限于篇幅，这里就只放几张图吧，更多的可以去我朋友圈围观。

虽然房子小，10月底家里还是新增了一员，我从师兄家抱回了一只布偶猫。养猫给我的生活新增了不少乐趣，没事的时候可以撸一撸。但也带来了很多麻烦，猫经常乱拉，晚上睡觉吵人，每天要铲屎喂粮，就和带一个孩子一样。可能是我给他吃的太好了吧，才6个月左右就已经长到10斤了。

情感方面依旧维持原样，虽然有过小插曲，但都不合适。

今年给我最大的感觉就是，工作了之后时间变快了，生活变单调了。尤其是取消大小周之后，每周都过得好快，每次还没恍过神就又到下一个周末了。这可能也和我比较宅有关，每周末除了打游戏，就还是打游戏。睡眠时间也依旧很晚，不断摧残自己的身体。

对于2022年，最大的心愿还是把工作做好，先把模型量化做完善了，争取早日晋升，希望LightSeq的star早日能上3000。然后继续做好菜、养好猫，快乐游戏每一天。文章最近更新的也没有以前频繁了，得勤快一点了。