【每日算法】理论：深度学习基础 刷题：栈与队列的转换

上期文章

【每日算法】理论：深度学习基础 刷题：KMP算法思想

---

一、上期问题

• 注意力机制
• BatchNorm 和 LayerNorm 的区别
• Bert 的参数量是怎么决定的。
• 为什么现在的大语言模型都采用Decoder only架构？
• 什么是梯度消失和爆炸
• 梯度消失和梯度爆炸产生的原因

二、本期理论问题

1、RAW图像和RGB图像的区别？

• RAW格式: 从相机传感器端获取的原始数字格式的数据, 又称为Bayer格式. 每个像素信息只有RGB中的某个颜色信息, 且每4个像素中有2个像素为G信息,1个R信息,1个B信息, 即GRBG格式。
• RGB格式: RGB格式是由RAW数据插值计算后获取的、每个像素均包含了RGB三种颜色的信息。

2、LSTM模型

长短期记忆（LSTM）模型是一种特殊类型的循环神经网络，用于处理序列数据。LSTM于1997年提出，专门设计用来解决标准RNN在训练过程中遇到的梯度消失问题。与传统的RNN不同，LSTM拥有三个“门”结构（输入门、遗忘门、输出门）和一个单元状态，这使得LSTM能够有选择地记住或忘记序列中的信息。具体来说：

• 输入门决定了哪些新的信息会被存入单元状态。
• 遗忘门控制了哪些旧的信息会被遗忘或者从单元状态中移除。
• 输出门决定了下一个隐藏状态（也就是下一时刻的输出）应该包含哪些信息。

这些门的存在使得LSTM可以学习长期依赖关系，即在序列中，当前的输出可能依赖于很远的过去的输入。LSTM已被广泛应用于各种需要处理序列数据的任务中，包括语音识别、语言模型、机器翻译、情感分析等。

3、卷积层和池化层有什么区别

卷积层有参数，池化层没有参数；
经过卷积层节点矩阵深度会改变，而池化层不会改变节点矩阵的深度，但是它可以缩小节点矩阵的大小。

4、tokenizer 的分词方法有那些？

基于规则的分词：根据语言的特点和规则进行分词，如中文的逐字分词或者英文的空格分词。
基于词典的分词：利用预先构建好的词典，将输入文本切分成词语或者子词。
子词切分：将词汇表中的单词进行进一步切分，得到更加细粒度的子词，如 Byte Pair Encoding（BPE）或者WordPiece。

前序问题：

• BPE编码

5、10亿个参数的模型，部署后占用多大显存？

目前模型的参数绝大多数都是float32类型, 占用4个字节。所以一个粗略的计算方法就是，每10亿个参数，占用约4G显存(实际应该是10^9*4/1024/1024/1024=3.725G）。

6、Textual Inversion模型

Textual Inversion模型的作用在于将独特的对象注入新场景，将它们转换成不同的风格，转移姿势，减少偏见，甚至想象新产品。Textual Inversion模型影响的是模型的embedding部分，以SD为例，就是将SD的子模块text_encoder中的token embedding部分通过训练增加了伪标签的嵌入向量，其他模块均保持不变，所以训练速度超快，效果也很明显。具体来说，首先需要定义一个在现有模型中没有的关键词$S\ast$来表示我们希望学习的新概念，也被称为pseudo word；新的关键词会和其他的关键词一样，学习到对应的特征嵌入$V\ast$。这样就将新概念注入到了模型的词汇中；然后，这个pseudo word就会像其他词一样被正常处理，并可用于为生成模型编写新的句子。
Textual Inversion：使用文本反转个性化文本到图像的生成

三、力扣刷题回顾-栈与队列

上期涉及题目：

• 151.翻转字符串里的单词
• 右旋字符串
• 28. 实现 strStr()
• 459.重复的子字符串

本期题目：

• 232.用栈实现队列
• 225. 用队列实现栈

232.用栈实现队列：

• 要求：仅使用两个栈实现先入先出队列，支持一般队列支持的所有操作（push、pop、peek、empty）。

225. 用队列实现栈：

• 要求：仅使用两个队列实现一个后入先出（LIFO）的栈，并支持普通栈的全部四种操作（push、top、pop 和 empty）。

对比分析：
232.用栈实现队列和225. 用队列实现栈两道题主要考查的是对栈和队列这两种数据结构的理解。栈是先进后出，队列是先进先出。要实现栈向队列的转换，可以定义两个栈：一个输入栈和一个输出栈；要实现队列向栈的转换，也可以定义两个队列，只不过没有输入和输出的关系，而是将其中一个队列作为备份。

---

232.用栈实现队列

定义两个栈实现先入先出：in负责push，out负责pop

• push：直接用append函数加入到in栈中即可
• pop：如果栈为空，则返回None，如果out栈有值则直接从out栈中弹出即可，否则就先按顺序把in栈的元素取出输入到out栈中，然后从out栈弹出
• peek：采用pop函数得到对应的元素，然后再加回out栈即可
• empty：两个栈都为空则说明队列为空

class MyQueue:
    # 定义两个栈实现先入先出：in负责push，out负责pop
    def __init__(self):
        self.stack_in = []
        self.stack_out = []

    # 将元素推到队列的末尾
    def push(self, x: int) -> None:
        self.stack_in.append(x)

    # 由于栈是先进后出的，因此需要两个栈实现先进先出的队列
    # 具体操作为：依次取出in栈中的元素，加入到out栈中，然后从out栈中取出就能保证从out栈中先出的是之前先进入in栈的元素
    def pop(self) -> int:
        if self.empty():
            return None
        if self.stack_out:
            return self.stack_out.pop()
        else:
            for i in range(len(self.stack_in)):
                self.stack_out.append(self.stack_in.pop())
            return self.stack_out.pop()

    # peek函数要求返回队列开头的元素
    def peek(self) -> int:
        ans = self.pop()
        self.stack_out.append(ans)
        return ans

    def empty(self) -> bool:
        return not (self.stack_in or self.stack_out)


# Your MyQueue object will be instantiated and called as such:
# obj = MyQueue()
# obj.push(x)
# param_2 = obj.pop()
# param_3 = obj.peek()
# param_4 = obj.empty()

225. 用队列实现栈

定义两个队列实现栈：其中一个队列用于备份

• push：直接用append函数加入到que1中即可
• pop：把que1最后面的元素以外的元素都备份到que2，然后弹出最后面的元素，再把其他元素从que2导回que1
• top：采用pop函数的逻辑得到对应的元素，然后再加回队列即可
• empty：两个队列都为空则说明栈为空

class MyStack:

    def __init__(self):
        self.queue_in = deque()
        self.queue_out = deque()

    def push(self, x: int) -> None:
        self.queue_in.append(x)

    def pop(self) -> int:
        if self.empty():
            return None
        for i in range(len(self.queue_in)-1):
            self.queue_out.append(self.queue_in.popleft())
        self.queue_in,self.queue_out = self.queue_out,self.queue_in
        return self.queue_out.popleft()

    def top(self) -> int:
        if self.empty():
            return None
        for i in range(len(self.queue_in)-1):
            self.queue_out.append(self.queue_in.popleft())
        self.queue_in,self.queue_out = self.queue_out,self.queue_in
        temp = self.queue_out.popleft()
        self.queue_in.append(temp)
        return temp

    def empty(self) -> bool:
        return len(self.queue_in) == 0


# Your MyStack object will be instantiated and called as such:
# obj = MyStack()
# obj.push(x)
# param_2 = obj.pop()
# param_3 = obj.top()
# param_4 = obj.empty()

参考：
代码随想录算法训练营第九天|理论基础，232.用栈实现队列，225. 用队列实现栈