“正则化”一词的翻译

本文探讨了正则化表达式和正则化参数在IT领域的不同应用,指出它们虽然都源于“regular”,但在计算理论和机器学习中的含义大相径庭,前者关乎模式匹配的规则,后者与模型复杂度控制有关,可能更应称为“均匀化”参数以减少误解。
摘要由CSDN通过智能技术生成

        很早之前就知道正则化表达式的存在,而在上学期的机器学习课程中又了解到正则化参数,遂一直在思考两者之间的联系和区别,但直到最近学习有限状态自动机时才认真的调查了一下。区别自然是显著的,一个是通过文法来实现模式的匹配,一个是通过在公式中添加一个参数来尽量避免模型过拟合。那他们之间的联系又是什么呢?

        先把我查到的结果放在这里:两者之间并无任何关系。或者如果从一个十分抽象的角度来说,他们确实都表示着一种规范(也是正则一词通俗的表达),只不过这个规范在计算理论和机器学习两个方面区别很大。

        正则化表达式的翻译是regular expression,正则化参数的翻译是regular parameter(来自有道词典)。显然,regular是正则化一词的翻译来源,也不难解释为什么两者的翻译为什么都用了这一词。

        进一步的,我在有道词典中查找了regular的词义,如下(其作名词时的释义未展示):

        adj. 定期的,规律的;经常的,频繁的;惯常的,通常的;持久的,固定的;标准尺寸的,中号的;普通的,平凡的;常备军的,正规军的;(动词)规则的;(人)正常通便的,月经正常的;完全的,彻底的;均匀的,端正的;正规的,正当的;(冲浪等)左腿在前的

        我想,在其中的和我们关注的两个词词义相近的应该是:标准的;规则的;均匀的。

        我想正则化表达式中的正则应该取标准的、规则的意思,正则化参数应该取均匀的意思,两者虽然用了同一个英文单词,但表达的含义还是不同的。

        正则化很适合描述“标准的、规则的”意思,而“均匀的”也许应该修改一下说法,改称“均匀化”参数也许更易于理解而不至于起冲突。

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
为方便描述,我们将输入序列 "I like this lecture" 转换为对应的词向量矩阵 $X \in \mathbb{R}^{5 \times 10}$,其中每一行表示一个词的词向量,每个词的词向量维度为10。假设输入序列的编码器已经生成了对应的编码向量 $E \in \mathbb{R}^{5 \times 10}$,其中每一行表示一个词的编码向量。 1. 掩码多头注意力 输入:解码器的上一层输出 $Y_{i-1} \in \mathbb{R}^{5 \times 10}$,掩码矩阵 $M \in \{0, -\infty\}^{5 \times 5}$,其中 $M_{ij}$ 表示在解码器的第 $i$ 个位置时是否可以看到编码器的第 $j$ 个位置的信息。在解码器中,我们需要将当前位置之后的信息掩盖掉,因此 $M$ 的上三角部分应该全部设置为 $-\infty$。 处理过程: 1. 将 $Y_{i-1}$ 拆分为 $h$ 个头,每个头的大小为 $d_h = d_{model} / h = 10 / 8 = 1.25$,得到 $h$ 个矩阵 $Y_{i-1}^1, ..., Y_{i-1}^h \in \mathbb{R}^{5 \times 1.25}$。 2. 对每个头 $j$,计算其注意力分数矩阵 $A^j \in \mathbb{R}^{5 \times 5}$,其中 $A^j_{ij} = \frac{1}{\sqrt{d_h}} \cdot Q^j_i \cdot K^j_j$,$Q^j_i$ 和 $K^j_j$ 分别表示当前位置 $i$ 的查询向量和编码器位置 $j$ 的键向量,均为 $Y_{i-1}^j$ 的线性变换结果。 3. 将注意力分数矩阵与掩码矩阵相加,得到掩码注意力分数矩阵 $A \in \mathbb{R}^{5 \times 5}$,其中 $A_{ij} = \sum_{j=1}^{h} A^j_{ij} + M_{ij}$。 4. 对掩码注意力分数矩阵进行 softmax 操作,得到注意力权重矩阵 $W \in \mathbb{R}^{5 \times 5}$,其中 $W_{ij}$ 表示在解码器的第 $i$ 个位置时对编码器的第 $j$ 个位置的注意力权重。 5. 对每个头 $j$,计算其加权值向量 $V^j \in \mathbb{R}^{1.25}$,其中 $V^j_i = \sum_{j=1}^{5} W_{ij} \cdot V^j_j$,$V^j_j$ 表示编码器位置 $j$ 的值向量,即编码器的输出 $E$ 的第 $j$ 行。 6. 将 $h$ 个加权值向量连接起来,得到当前位置的输出 $Y_i \in \mathbb{R}^{10}$。 输出:当前位置的输出 $Y_i \in \mathbb{R}^{10}$。 2. 多头交叉注意力 输入:掩码多头注意力的输出 $Y_i \in \mathbb{R}^{10}$,编码器的输出 $E \in \mathbb{R}^{5 \times 10}$。 处理过程: 1. 将 $Y_i$ 拆分为 $h$ 个头,每个头的大小为 $d_h = d_{model} / h = 10 / 8 = 1.25$,得到 $h$ 个矩阵 $Y_i^1, ..., Y_i^h \in \mathbb{R}^{1 \times 1.25}$。 2. 对每个头 $j$,计算其注意力分数矩阵 $A^j \in \mathbb{R}^{5 \times 1}$,其中 $A^j_{ij} = \frac{1}{\sqrt{d_h}} \cdot Q^j_i \cdot K^j_j$,$Q^j_i$ 和 $K^j_j$ 分别表示当前位置 $i$ 的查询向量和编码器位置 $j$ 的键向量,均为 $Y_i^j$ 的线性变换结果。 3. 对每个头 $j$,计算其加权值向量 $V^j \in \mathbb{R}^{1.25}$,其中 $V^j_i = \sum_{j=1}^{5} A^j_{ij} \cdot V^j_j$,$V^j_j$ 表示编码器位置 $j$ 的值向量,即编码器的输出 $E$ 的第 $j$ 行。 4. 将 $h$ 个加权值向量连接起来,得到当前位置的输出 $Y_i' \in \mathbb{R}^{10}$。 输出:当前位置的输出 $Y_i' \in \mathbb{R}^{10}$。 3. 前馈网络 输入:多头交叉注意力的输出 $Y_i' \in \mathbb{R}^{10}$。 处理过程: 1. 对 $Y_i'$ 进行线性变换,得到形状为 $(10, 512)$ 的中间结果 $Y_i''$。 2. 对 $Y_i''$ 每个元素应用激活函数 ReLU,得到激活后的结果 $Y_i'''$。 3. 对 $Y_i'''$ 进行另一个线性变换,得到当前位置的输出 $Y_i'''' \in \mathbb{R}^{10}$。 输出:当前位置的输出 $Y_i'''' \in \mathbb{R}^{10}$。 4. 残差连接和层正则化 输入:前馈网络的输出 $Y_i'''' \in \mathbb{R}^{10}$,解码器的上一层输出 $Y_{i-1} \in \mathbb{R}^{5 \times 10}$。 处理过程: 1. 对前馈网络的输出 $Y_i''''$ 和解码器的上一层输出 $Y_{i-1}$ 进行残差连接,得到形状为 $(5, 10)$ 的中间结果 $Z_i$,其中 $Z_i = Y_i'''' + Y_{i-1}$。 2. 对 $Z_i$ 进行层正则化,得到当前位置的输出 $Y_i''''' \in \mathbb{R}^{5 \times 10}$。 输出:当前位置的输出 $Y_i''''' \in \mathbb{R}^{5 \times 10}$。 5. 掩码多头注意力 输入:残差连接和层正则化的输出 $Y_i''''' \in \mathbb{R}^{5 \times 10}$,掩码矩阵 $M \in \{0, -\infty\}^{5 \times 5}$。 处理过程:同掩码多头注意力中的处理过程。 输出:当前位置的输出 $Y_i \in \mathbb{R}^{10}$。 6. 多头交叉注意力 输入:掩码多头注意力的输出 $Y_i \in \mathbb{R}^{10}$,编码器的输出 $E \in \mathbb{R}^{5 \times 10}$。 处理过程:同多头交叉注意力中的处理过程。 输出:当前位置的输出 $Y_i' \in \mathbb{R}^{10}$。 7. 前馈网络和残差连接和层正则化 输入:多头交叉注意力的输出 $Y_i' \in \mathbb{R}^{10}$。 处理过程:同前馈网络和残差连接和层正则化中的处理过程。 输出:当前位置的输出 $Y_i''''' \in \mathbb{R}^{5 \times 10}$。 最终输出:解码器的输出序列为 $\{Y_1, Y_2, Y_3, Y_4, Y_5\}$,其中 $Y_i'''''$ 表示解码器的第 $i$ 个位置输出的词向量。可以将其转化为对应的词汇表中的词进行翻译
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值