mikhailbran的博客

hugging face 的 evaluate 功能实践

huggingface 的 datasets 学习

是一个预训练的语言表征模型。它强调了不再像以往一样采用传统的单向语言模型或者把两个单向语言模型进行浅层拼接的方法进行预训练，而是采用新的masked language model（MLM），以致能生成深度的双向语言表征。BERT论文发表时提及在11个NLP（Natural Language Processing，自然语言处理）任务中获得了新的state-of-the-art的结果推荐链接：其实说白了就是 transformer可以进行堆叠。

目前transformer 相关应用非常广泛，因此分享一篇关于flash attention的文章。这里为什么先分享flash attention？首先，之前的 attention优化都是基于计算和稀疏性，这篇文章直接从硬件构架角度思考，减少硬件的开销。其次，本文的效果好，直接从N2N^2N2的复杂度降为N，在不改变attention 结构的情下加速显然，甚至因为能增加输入的长度，使得效果有提升，所以在这里做一篇分享，欢迎交流。

transformer 的结构为编码器（encoder） + 解码器（decoder）。encoder 接收输入，decoder 接收encoder 的输出。这里祭出transformer 经典结构其中的Multi-Head 就是著名的多头注意力机制，这个主力机制可以根据上下文有选择性的选择内容。对transformer 的讲解很多，我这里就不多赘述，不过笔者也会写一篇关于论文的阅读博文。

本章节主要是对 transformer 里的tokenizer 进行学习，tokenizer 比较简单，欢迎交流

本文主要讲述了 如何使用transformer 里的很多任务（pipeline），我们用这些任务可做文本识别，文本翻译和视觉目标检测等等，并且写了实战用力和测试结果

transformer 基础学习

video interp EMA-VFI

笔者在视频帧插方面做过一个统计，该表统计了目前不同测试集下的sota，按照测试集分类大概有8个sota如下表。Name表示网络名称。becnh mark表示在哪些bench mark 上都是sota。win over中数字表示都赢了多少个网络，也能反映这大家在这个数据集上的热度，括号中表示的 不如当前网络但是很有名甚至也出现在当前表格中。starts表示github 上有多少人关注，其实这样能鉴定论文的有效性和是否方便following因为有些文章代码有bug或者没公开。

最近正在看视频帧插论文。其中《Real-Time Intermediate Flow Estimation for Video Frame Interpolation》我认为思路较好。为什么好？因为摒弃了之前计计算光流的带来的halo弊端：求t 帧 和 1-t帧的光流，本文是直接估计中间帧光流，因此没有了这样的弊端，因此从方法论上就是赢过了此论文之前的论文。还有一点是本论文在训练方面提供的细节很多，是个货真价实的论文。论文地址：https://arxiv.org/pdf/2011.06294.pdf。

最近读到一篇较好的光流文章：Fast Optical Flow using Dense Inverse Search。opencv中开源了c++、opencl 代码，相关关键词为DISOpticalFlow。个人认为该方法是传统光流的巅峰。而且该方法修改了迭代部分相对较容易做成工程算法并部署到嵌入式平台视频插帧、slam 都要用到光流，这里将这个相关学习做个详细的学习笔记并分享以抛砖引玉，如有错误还望指正。论文链接：https://arxiv.org/pdf/1603.03590.pdf。

Supervised Raw Video Denoising with a Benchmark Dataset on Dynamic Scene 一文的数据如何产生学习笔记

最近一段时间在看 deflicker（banding） 的相关，目前对 2023 年的文章《Blind Video Deflickering by Neural Filtering with a Flawed Atlas》比较中意，这里在翻译的同时写一些相关的理解，有错误或者不对的望指正！

一篇经典的 图像对齐论文理解与翻译

图像对齐、深度学习

ISP 图像配准笔记（一）