- 博客(11)
- 收藏
- 关注
RSS订阅原创 大模型训练过程
先看大模型的训练流程图：接下来，一步一步的来看：预训练得到的是base模型，它只是预测下一个词的模型。（是不是和迁移学习类似？对齐没有对齐的话，模型的回复可能和我们的问题没有关系。对齐的目的是让模型理解我们的问题，并且根据我们的问题来回答我们的问题。那么如何对齐呢？让模型输出2句话，人类选择哪一种更好。这个有点像迁移学习，要求目标函数和源数据集类似，然后只需要修改源模型的输出层。预训练：在一个大规模的数据集上训练一个深度学习模型。微调：使用目标任务的训练集对预训练模型进行微调。评估：使用目标任务的测试集对微
2024-06-30 00:19:58
312
1
原创 Bert模型详解
这么做的主要原因是：在后续微调任务中语句中并不会出现 [MASK] 标记，而且这么做的另一个好处是：预测一个词汇时，模型并不知道输入对应位置的词汇是否为正确的词汇（ 10% 概率），这就迫使模型更多地依赖于上下文信息去预测词汇，并且赋予了模型一定的纠错能力。训练数据的生成方式是从平行语料中随机抽取的连续两句话，其中50%保留抽取的两句话，它们符合IsNext关系，另外50%的第二句话是随机从语料中提取的，它们的关系是NotNext的。具体来说，在一句话中随机选择 15% 的词汇用于预测。
2024-06-21 04:54:04
843
原创 力扣刷题｜二叉树
循环的条件是cur数组为不为空，不为空就继续遍历，创一个nxt的空数组来存储cur的左孩子，vals的空数组来存储val。容易忘记，特别是好多数组）注意，这里的ans与vals两个数组都必须要，现在这样，返回的是一个嵌套的列表，比如：[[3],[9,20],[15,7]]，而如果没有最后的ans.append(vals)，返回的是一个整数列表。：传入的是二叉树的根节点，然后需要返回的是遍历的结果，所以需要一个数组来存储。在前序遍历中，它的逻辑就是中左右，中就是当前的值，左右就是左右的指针。
2024-06-13 23:18:41
590
原创 二叉树的理论知识
参考笔记：代码随想录满二叉树、完全二叉树、二次搜索树、平衡二叉搜索树只有为0的节点和为2的节点，并且为0的节点在同一层上。满二叉树的深度为k，那么树的节点就是2^k-1 。最底层节点可能没填满外，其余每层节点数都达到最大值，并且最下面一层的节点都集中在该层最左边的若干位置。也就是是从左到右填满的。二叉搜索树的树上是有数值的，它是一颗有序树，它的数值排序为：平衡的点在于它的左右两个子树的高度差的绝对值不超过1。二叉树可以链式存储（经常），也可以顺序存储。链式存储就是使用指针（这里就有左指针和右指针），顺序存储
2024-06-13 18:52:50
402
原创 力扣刷题｜链表
链表的所有值都是 唯一的，并且保证给定的节点 node 不是链表中的最后一个节点。(注意：没有slow.val = slow.next.val是因为，slow是从虚拟节点出发的，所以slow是在的是N的上一个节点。(但是答案的思路就是把它的值指向下一个，它的指针指向下一个，没有说是它的上一个节点，也没有创建虚拟节点。node 不应该是链表的最后一个节点，而应该是链表中的一个实际节点。解释：指定链表中值为 5 的第二个节点，那么在调用了你的函数之后，该链表应变为 4 -> 1 -> 9。输出：[4,1,9]
2024-06-12 06:11:49
280
原创 机器学习｜特征工程
6： Word2Vec 是如何工作的？它和隐狄利克雷模型（LDA）有什么区别与联系？7： 如何缓解图像分类任务中训练数据不足带来的问题？5： 有那些文本表示模型？它们各有什么优缺点？3： 什么是组合特征？如何处理高维组合特征？1： 为什么要对数值类型的特征做归一化？4： 怎样高效地找到组合特征？2： 怎样处理类别型特征？参考书籍：百面机器学习。
2024-06-08 21:29:36
102
原创 力扣刷题｜字符串（初级算法）
python代码：因为是整数，所以把它变为单个的数字并且要翻转的话，思路就是处于10取余，然后这个余数再乘10加上下一个数就达到了翻转的效果，代码如下，但是有几个用例过不去，也不知道为什么。算法思路：开始我在想要不要使用双指针，但是发现写不出来，然后借助count()这个查找个数的函数，一旦找到就return，但是这个代码会超出时间限制。然后了解一下关于字符串的基础知识。但是它的判断溢出那里，我就没太明白怎么会这样来判断？题目：给你一个 32 位的有符号整数 x ，返回将 x 中的数字部分反转后的结果。
2024-06-08 06:01:24
305
原创 力扣刷题｜数组（初级算法）
删除重复出现的元素可以用双指针的思路，右指针每一次向右移动一步，然后来判断该数和左指针的值是不是一样，如果一样右指针就向右再移动然后再判断；如果不一样，那么左指针就先向右移一步，然后把右指针的值赋值给左指针。循环的条件是直到右指针的长度小于数组的长度，然后输出左指针的长度。在最后如果想要输出[0,1,2,3,4]，就需要使用切片的操作 list[start:end:step]。给你一个 非严格递增排列 的数组 nums ，请你 原地 删除重复出现的元素，使每个元素 只出现一次 ，返回删除后数组的新长度。
2024-06-02 05:14:54
180
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人