溢流眼泪-CSDN博客

原创【Unity 工具，简单学习】DoTween，脚本控制动画工具

Tween 简单来说，就是用简单的代码可以控制任何动画表现，诸如移动、旋转、颜色、各种其他UI元素。

2023-03-13 20:02:30 2581 2

原创【腾讯云轻量级服务器】腾讯云服务器，Linux宝塔，Unity导出WebGL并部署

腾讯云服务器，Linux宝塔，Unity导出WebGL并部署

2023-03-09 22:36:33 1346

原创【Unity】Delegate, Event, UnityEvent, Action, UnityAction, Func 傻傻分不清

学习打开别人一个魔塔的项目，看到了满页的 `Action` 代码，而本人委托那一块自己写的时候压根不会用……遂学习相关知识。**多数学习自知乎****本文可能会有知识点错误，欢迎讨论。**

2022-12-26 22:43:16 9743 8

原创【小组专题二：博弈论入门综述（1）】NP状态 | SG函数 | 巴什博奕、威佐夫博弈、斐波那契博弈、Nim游戏、SJ定理

博弈论综述【1】前言博弈与博弈论博弈树NP状态SG函数(Sprague-Grundy)Sprague-Grundy Theorem巴什博奕 Bash Game威佐夫博弈扩展威佐夫博弈斐波那契博弈Nim博弈拓展Nim博弈与Nim博弈的各个变种（1）拓展维度（2）先手怎么取（3）求先手一开始有多少种取得方式能够赢（4）变形：有拿取上限（NYOJ-135）（5）阶梯博弈（**Nim Staircase**博弈）最后的最后：SJ定理与Anti-SG游戏各种练习题啦！可能下期会将的内容（？）博弈与博弈论

2020-09-03 14:19:56 2903 4

原创【心得】科研上的一些里程碑式的心得

大致按照时间顺序记录一下自己在科研上的重要心得算是一个分享和记录性质的内容※不同人有不同的观点也是正常的可以对比一下每一条，自己是否有主动意识到。

2024-04-12 16:53:20 284

原创【Python】科研代码学习：十七模型参数合并，safetensors / bin

众所周知，LLM的模型参数一般保存在或者.bin结尾的大文件但是通过一个RLHF的一个训练后，使用了FSDP分布式训练器所以把文件参数保存在了.pt文件中那么问题来了，保存的参数我如何合并到模型里去，做其他推理任务呢？

2024-04-10 21:59:07 3032

原创【Python】科研代码学习：十六 Model架构的代码细节，附架构图：Llama 为例（v4.28.0）

接下来就是重头戏，我如何修改嵌入层？MLP层？注意力层？解码层？前向传播的逻辑如何实现与修改？损失如何设置和得到？就看这个重要脚本了（在 Github中，请找到自己对应模型的脚本，并建议自己打开来看一看源码）※ 本文使用的版本为v4.28.0，不同版本的源码会有所不同。

2024-03-20 17:34:45 1636

原创【Python】科研代码学习：十五 configuration，tokenization 的代码细节：Llama 为例

对于HF的库的经典API以及大致架构我们都从前面已经学习的差不多了Tokenizer和的运作原理是什么？我如何查看与修改模型的架构？前向与反向传播过程？损失计算？激活函数？这些模型层面的内容，如何学习与具体操作？这里，建议是查看自己使用的模型，并学习其中config与modeling三个最重要的类。

2024-03-18 17:55:08 1493

原创【Python】科研代码学习：十四 wandb (可视化AI工具)

【wandb官网】wandb是的缩写（w and b）核心作用：可视化重要参数云端存储提供各种工具可以和其他工具配合使用，比如下面的等等可以在里面使用matplotlib貌似是的上位替代。

2024-03-15 18:09:59 2211

原创【Python】科研代码学习：十三 Accelerate

即可，里面的代码就无需修改了。

2024-03-14 20:51:04 1021

原创【Python】科研代码学习：十二 PEFT（高效参数的训练，Adapter适配器）

【代码】【Python】科研代码学习：十二 PEFT（高效参数的训练，Adapter适配器）

2024-03-14 19:44:14 2655 1

原创【Python】科研代码学习：十一 Optimization (Optimizer, Scheduler)

无需我们自己创建一个调度器，HF会按照输入的调度器名字，自动创建对应的调度器。相当于，我们通过这个类似枚举类，来指明我们使用的是哪种调度器。可以看一下，有线性的，余弦的，多项式的，常数的，带预热的等。按照这里的学习文章，说一下重要的内容，比如这个是带预热的余弦调度器。首先最重要的一个，是。

2024-03-13 20:56:34 1685

原创【Python】科研代码学习：十 evaluate (metrics，Evaluator)

【代码】【Python】科研代码学习：十 evaluate (metrics，Evaluator)

2024-03-13 17:39:27 1784

原创【Python】科研代码学习：九 parser，argparse，HfArgumentParser

【代码】【Python】科研代码学习：九 parser，argparse，HfArgumentParser。

2024-03-11 21:36:27 1554

原创【Python】科研代码学习：八 FineTune PretrainedModel (用 trainer，用 script)；LLM文本生成

由于默认是右侧padding，而LLM在训练时没有学会从pad_token接下来的生成策略，所以会出问题。有时候默认使用贪心策略来获取 next token，这个时候容易出问题（循环生成等），需要设置。(in one sitting = 一口气) (thug = 暴徒)也可以先选择其中一小部分的数据单独拿出来，做测试或者其他任务。（比如训练时的prompt格式），得到的结果就会不如预期。自定义分词函数，然后使用。如果输入不等长，那么会进行pad操作。比如说，QA的模板就像这样。可以把数据集进行分词。

2024-03-11 17:56:12 1313

原创【Python】科研代码学习：七 TrainingArguments，Trainer

如果是整数，表示多少步保存一次；小数，则是按照总训练步，多少比例之后保存一次。：最多中继文件的保存上限，如果超过上限，会先把最旧的那个中继文件删了再保存新的。：是否保存到 HF hub。

2024-03-10 20:51:07 1750 2

原创【Python】科研代码学习：六 ModelOutput，SpecificModel

【代码】【Python】科研代码学习：六 ModelOutput，SpecificModel。

2024-03-10 19:18:16 1122

原创【Python】科研代码学习：五 Data Collator，Datasets

【代码】【Python】科研代码学习：五 Data Collator，Datasets。

2024-03-09 19:06:53 1643

原创【Python】科研代码学习：四 AutoClass，Logging

HF官网：AutoClass。

2024-03-09 17:08:21 969

原创【Python】科研代码学习：三 PreTrainedModel, PretrainedConfig, PreTrainedTokenizer

HF 官网API本文主要从官网API与源代码中学习调用HF的关键模组。

2024-03-08 22:03:50 1739

原创【Python】科研代码学习：二 dataclass，pipeline

后文需要学习一下库，必要时会介绍其他相关的重要库和方法。主要是从源代码、别人的技术文档学习，会更快些。

2024-03-08 19:58:04 1131

原创【自然语言处理】微调 Fine-Tuning 各种经典方法的概念汇总

（1）一些概念源自LLM（Chatgpt）和网络（百度/知乎等），笔者进行了初步检查。（2）由于其中的各种知识比较琐碎，为了形成较为结构化的知识体系，且使用最简单的、几乎无公式的介绍，故作此博客。（3）着重为自然语言处理领域NLP的，CV领域的不是很详细讲述了【机器学习与自然语言处理】预训练 Pre-Training 各种经典方法的概念汇总（4）比较简单或者过于的概念就不介绍了，默认大家都学会了。不然要写的太多了。比如损失，损失函数，神经网络几个概念，不认识的话单独先去学一下。

2024-02-06 20:10:49 3984 1

原创【机器学习与自然语言处理】预训练 Pre-Training 各种经典方法的概念汇总

（1）一些概念源自LLM（Chatgpt）和网络（百度/知乎等），笔者进行了初步检查。（2）由于其中的各种知识比较琐碎，为了形成较为结构化的知识体系，且使用最简单的、几乎无公式的介绍，故作此博客。（3）着重为机器学习ML与自然语言处理领域NLP的，CV领域的不是很详细讲述了。

2024-02-05 23:32:15 1650

原创【VSCode，Python】一劳永逸的成功导入本地模组，PYTHONPATH的修改，与各种踩坑点

其中 aa 是在 NLP文件夹下的子文件夹。bb 是在 aa 文件夹下的子文件夹。

2024-01-14 20:10:31 2042 1

原创【Python】科研代码学习：一

搞科研，最重要的还是得看懂别人的源代码。这就意味着python不能太差看到比较有用的，或者不怎么看懂的代码，就搜索并学习，放在这里，供学习参考。∗∗在编译器中对包或者类或者方法，点击F12查看源码，而不是百度问怎么获得啥啥参数∗∗\color{red}** 在编译器中对包或者类或者方法，点击F12查看源码，而不是百度问怎么获得啥啥参数**∗∗在编译器中对包或者类或者方法，点击F12查看源码，而不是百度问怎么获得啥啥参数∗∗。

2024-01-10 19:28:48 924