自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(3518)
  • 资源 (4)
  • 收藏
  • 关注

原创 Transformer加速算法【KV-cache、GQA(Grouped-query attention)、投机采样、RWKV、Inifni-Transformer、FlashAttention】

在LLM的推理过程中,KVCache已经属于必备的技术了。然而,网上现有的解读文章并不够清晰。看了一些文章之后,我决定还是自己写一篇新的,以飨读者。

2024-05-17 22:18:53 5

原创 GPT4O技术架构【 图像提取特征,语音提取特征后一起将特征输入给大模型,跳过语音识别步骤】

图像提取特征,语音提取特征后一起将特征输入给大模型。图像提取特征,语音识别为文字后一起输入给大模型。

2024-05-16 23:29:03 32

原创 实变函数论6-微分与不定积分6:L-S测度与积分

实变函数论6-微分与不定积分6:L-S测度与积分。

2024-05-15 00:05:31 96

原创 实变函数论6-微分与不定积分5:斯蒂尔切斯积分

实变函数论6-微分与不定积分5:斯蒂尔切斯积分。

2024-05-15 00:04:15 100

原创 实变函数论6-微分与不定积分4:不定积分

实变函数论6-微分与不定积分4:不定积分。

2024-05-15 00:04:00 60

原创 实变函数论6-微分与不定积分3:有界变差函数

实变函数论6-微分与不定积分3:有界变差函数。

2024-05-15 00:03:45 56

原创 实变函数论6-微分与不定积分2:单调函数的可微性

实变函数论6-微分与不定积分2:单调函数的可微性。

2024-05-15 00:03:27 89

原创 实变函数论6-微分与不定积分1:维塔利定理

实变函数论6-微分与不定积分1:维塔利定理。

2024-05-15 00:03:11 97

原创 实变函数论5-积分论6-2:富比尼定理

实变函数论5-积分论6-2:富比尼定理。

2024-05-15 00:02:51 65

原创 实变函数论5-积分论6-1:勒贝格积分的几何意义

实变函数论5-积分论6-1:勒贝格积分的几何意义。

2024-05-15 00:02:36 69

原创 实变函数论5-积分论5-2:勒贝格积分

实变函数论5-积分论5-2:勒贝格积分。

2024-05-15 00:02:17 77

原创 实变函数论5-积分论5-1:黎曼积分

实变函数论5-积分论5-1:黎曼积分。

2024-05-15 00:01:52 60

原创 实变函数论5-积分论4:一般可测函数的勒贝格积分

实变函数论5-积分论4:一般可测函数的勒贝格积分。

2024-05-15 00:01:32 68

原创 实变函数论5-积分论3:非负可测函数的勒贝格积分

实变函数论5-积分论3:非负可测函数的勒贝格积分。

2024-05-15 00:01:15 89

原创 实变函数论5-积分论2:非负简单函数的勒贝格积分

实变函数论5-积分论2:非负简单函数的勒贝格积分。

2024-05-15 00:01:01 71

原创 实变函数论5-积分论1-2:勒贝格积分简介

实变函数论5-积分论1-2:勒贝格积分简介。

2024-05-15 00:00:45 101

原创 实变函数论4-可测函数2:叶戈罗夫定理

实变函数论4-可测函数2:叶戈罗夫定理。

2024-05-14 23:43:12 75

原创 实变函数论4-可测函数1:可测函数及其性质

实变函数论4-可测函数1:可测函数及其性质。

2024-05-14 23:42:38 60

原创 实变函数论5-积分论1-1:黎曼积分的局限性

实变函数论5-积分论1-1:黎曼积分的局限性。

2024-05-14 23:41:32 68

原创 实变函数论3-测度论4:不可测集

实变函数论3-测度论4:不可测集。

2024-05-14 23:40:33 63

原创 实变函数论3-测度论3:可测集类

实变函数论3-测度论3:可测集类。

2024-05-14 23:39:56 84

原创 实变函数论3-测度论2:可测集

实变函数论3-测度论2:可测集。

2024-05-14 23:39:19 64

原创 实变函数论4-可测函数4:依测度收敛

实变函数论4-可测函数4:依测度收敛。

2024-05-14 23:38:36 85

原创 实变函数论3-测度论1:外测度

实变函数论3-测度论1:外测度。

2024-05-14 23:38:05 90

原创 实变函数论2-点集5:康托尔三分集

实变函数论2-点集5:康托尔三分集。

2024-05-14 23:37:30 84

原创 实变函数论2-点集4:直线上的开集、闭集及完备集的构造

实变函数论2-点集4:直线上的开集、闭集及完备集的构造。

2024-05-14 23:36:58 91

原创 实变函数论2-点集3:开集,闭集,完备集

实变函数论2-点集3:开集,闭集,完备集。

2024-05-14 23:36:27 56

原创 实变函数论2-点集2:聚点,内点,界点

实变函数论2-点集2:聚点,内点,界点。

2024-05-14 23:35:57 71

原创 实变函数论2-点集1-2:n维欧氏空间

实变函数论2-点集1-2:n维欧氏空间。

2024-05-14 23:34:02 82

原创 实变函数论2-点集1-1:度量空间

实变函数论2-点集1:度量空间。

2024-05-14 23:33:25 89

原创 实变函数论4-可测函数3:可测函数的构造

实变函数论4-可测函数3:可测函数的构造。

2024-05-14 23:32:27 77

原创 实变函数论1-集合5:不可数集合

实变函数论1-集合5:不可数集合。

2024-05-14 23:31:53 69

原创 实变函数论1-集合4:可数集合

实变函数论1-集合4:可数集合。

2024-05-14 23:31:12 315

原创 实变函数论1-集合3:对等与基数

实变函数论1-集合3:对等与基数。

2024-05-14 23:30:42 69

原创 实变函数论1-集合2:集合的运算

实变函数论1-集合2:集合的运算。

2024-05-14 23:30:09 67

原创 实变函数论1-集合1:集合的表示

实变函数论1-集合1:集合的表示。

2024-05-14 23:28:46 69

原创 ASR-详解CTC(Connectionist Temporal Classification)

在语音识别中,我们的数据集是音频文件和其对应的文本,不幸的是,音频文件和文本很难再单词的单位上对齐。除了语言识别,在OCR,机器翻译中,都存在类似的Sequence to Sequence结构,同样也需要在预处理操作时进行对齐,但是这种对齐有时候是非常困难的。如果不使用对齐而直接训练模型时,由于人的语速的不同,或者字符间距离的不同,导致模型很难收敛。

2024-05-13 23:25:52 11

原创 细数语音识别中的几个former

前者依赖人的经验总结,而人的经验必然有很多遗漏是粗糙的。EfficientConformer结构如下所示,它将原始的Conformer blocks分解为三步,前两个步在N个Conformer Block之后叠加Downsampling Block,沿着时间维度进行下采样;Conformer结构(左)和Squeezeformer(右)结构包括用于采样率下采样和上采样的Temporal U-Net结构,仅使用层后归一化的标准transformer风格块结构,以及深度可分离的子采样层。它由两个平行的分支组成。

2024-05-12 22:44:43 9

原创 Zipformer 模型解析

值得注意的是,当我们在 8 个 80G NVIDIA Tesla A100 GPU 上训练 170 epoch,Zipformer-L 取得了 2.00%/4.38% 的 WER,这是我们了解到的迄今为止第一个和 Conformer 原文结果相当的模型。在每个步骤 𝑡,Adam 计算参数梯度 𝑔𝑡=∇𝜃𝑓(𝜃𝑡−1),并更新梯度的一阶动量 𝑚𝑡=𝛽1⋅𝑚𝑡−1+(1−𝛽1)⋅𝑔𝑡 和二阶动量 𝑣𝑡=𝛽2⋅𝑣𝑡−1+(1−𝛽2)⋅𝑔𝑡2,此处, 𝛽1,𝛽2∈[0,1) 表示控制动量更新的系数。

2024-05-12 22:14:19 18

原创 复变函数论6-留数理论及其应用2-1-用留数定理计算实积分3:∫[P(x)/Q(x)]eⁱᵐˣdx型积分

∫−∞∞​QxPx​eimxdx某些实的定积分可应用留数定理进行计算, 尤其是对原函数不易直接求得的定积分和反常积分, 这常是一个有效的方法, 其要点是将它化归为复变函数的周线积分.

2024-05-10 23:31:44 475

《Approaching (Almost) Any Machine Learning Problem》

《Approaching (Almost) Any Machine Learning Problem》

2023-09-13

中文小说短句序列文本复述数据集

中文小说短句序列文本复述数据集

2023-07-29

时间序列预测-第六届全国工业互联网数据创新应用大赛:工业生产反应装置的建模预测

第六届全国工业互联网数据创新应用大赛:工业生产反应装置的建模预测

2023-02-26

clustering-test-data

文本聚类测试数据

2022-11-17

stop-words.txt

stop_words.txt

2022-11-17

strawberry-perl-5.10.1.0.msi

strawberry-perl-5.10.1.0.msi

2022-02-19

strawberry-perl-5.10.1.0.msi

strawberry-perl-5.10.1.0.msi

2022-02-19

英文单词拼写混淆集:spell-errors.txt

英文单词拼写混淆集:spell-errors.txt

2021-04-05

带有词频的词典库:vocab.txt

带有词频的词典库:vocab.txt

2021-04-05

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除