qq_44224676的博客

原创 windows开发终极效率terminal+git-bash+zsh+oh-my-zsh

当你觉得舍弃不了windows的便利，又习惯了mac上极其顺手的item2+zsh组合，怎么办呢，Windows Terminal Preview 果断用起来，墙裂推荐。这里记录一下安装的过程，装完之后如mac版丝滑。

原创 python小笔记

在对数据进行预处理的时候，我们经常会用到 strip() 函数来去除字符串或者字段前后的空格，但其实还有一个函数 rstrip()，是用来删除字符串末尾的指定字符（默认为空格），那这两个函数有什么区别呢，rstrip()又怎么使用呢？PTAH，第二个红色错误在于因为是最后一条环境配置语句所以结尾要加:$PATH，如果想重置～/.bashrc可以使用cp /etc/skel/.bashrc ~/语句然后重启即可满血复活。tar -xzvf file.tar.gz //解压tar.gz。

原创 在访问字典中的键之前，最好先检查键是否存在，以避免KeyError异常

在Python中，当使用data_dict[‘manual_name’]作为条件时，如果data_dict[‘manual_name’]存在且非空，则条件为True；如果data_dict[‘manual_name’]不存在或为空，则条件为False。因此，在if语句中，你应该检查data_dict[‘manual_name’]是否存在并且非空，而不是仅仅检查它的真实性。这样，如果data_dict中包含manual_name键并且其值非空，则会使用manual_name；以上示例代码会执行这样的检查。

原创 cudnn_status_not_initialized 最后还是自己代码里的.cuda问题

原创 关于学习率lr

持inverse square root scheduler，按总epoch的4%或6%设置warm up步长，0-warmup_steps期间lr线性增长（从0到设置的lr），随后指数衰减。第3组：inverse square root scheduler with linear warmup（与第1组一样）, lr=0.005, bs=128，滑动更小样本。（第0组实验：当前已经跑出的结果，常量lr_scheduler，lr=0.01, bs=512）

原创 tqdm包

Korquad 2.0是韩国机器阅读理解数据集，该数据集由总共100,000多对组成，其中包括Korquad 1.0中的20,000多对问题。与Korquad 1.0不同，您需要在Wikipedia文章中找到答案，而不是1或2段。它是基于阅读理解的任务设置，旨在帮助开发者构建和评估韩语问答系统。韩语数据集是KorQuAD，在训练集中有60,000+样本，在开发集中有10,000+样本。参数：参考kr-T5/mT5在下游任务上的微调参数，实验确定合理的参数。确认一下他们的评测性能，用的什么训练数据。

原创 搭建miniconda环境，并额外安装自己的包

在 Miniconda 的官方网站（https://docs.conda.io/en/latest/miniconda.html）上下载适合操作系统的 Miniconda 安装包。安装这四个库的时候，由于miniconda是移植过来的，会说找不到pip之类的，原因是pip的地址不对，需要找到对应的调用地址文件改为现在对应的地址。这将下载 detectron2 代码并使用 -e 标志进行可编辑模式的安装，以便在你的环境中进行开发和调试。过程中有报错相应的库版本不匹配，离线安装对应报错的库即可。

原创 T5的零碎

https://juejin.cn/post/7069225910427189256

原创 pretrain代码

【代码】pretrain代码。

原创 需要了解的LLM

Qwen-7B是支持中、英等多种语言的基座模型，在超过2万亿token数据集上训练，上下文窗口长度达到8k。Qwen-7B-Chat是基于基座模型的中英文对话模型，已实现与人类认知对齐。开源代码支持对Qwen-7B和Qwen-7B-Chat的量化，支持用户在消费级显卡上部署和运行模型。AI模型社区魔搭ModelScope上架两款开源模型Qwen-7B和Qwen-7B-Chat，阿里云确认其为通义千问70亿参数通用模型和对话模型，两款模型均开源、免费、可商用。阿里达摩 多语言大模型PolyLM。

原创 将cnn_dailmail数据转化为json格式

【代码】将cnn_dailmail数据转化为json格式。

原创 环境相关的基础知识

PYTHONPATH可以添加到~/. bashrc中，也可以写成bash脚本来添加。也即官方、第三方提供的稳定python-api建议放~/.bashrc中，自己开发的本地库建议用bash启动即可。PYTHONPATH是一个环境变量，您可以将其设置为添加附加目录，python将在其中查找模块和包。对于大多数安装，您不应该设置这些变量，因为Python不需要它们来运行。设置PYTHONPATH的唯一原因是维护不希望安装在全局默认位置（即site packages目录）的自定义Python库的目录。

原创 SFT和FT的区别

总的来说，有监督微调是在预训练模型的基础上使用与目标任务直接相关的标记数据进行有监督训练；而微调是在预训练模型的基础上通过进一步调整权重和参数进行优化，适应新的任务或领域，可以使用不同类型的数据集进行训练，并且训练方式可以更加灵活。

原创 索引超过张量维度范围

这个错误通常发生在 PyTorch 在 CUDA 上进行索引操作时。它的原因可能是你正在尝试访问超出张量维度范围的索引。这可能是由于索引值超过了张量的大小，或者由于张量维度的设置有问题。确保索引值没有超过张量的大小。请检查你在索引操作中使用的索引值，确保它们在合理的范围内，并且不超过对应维度的大小。确保张量的维度设置正确。检查张量的形状和维度设置是否正确。确保使用的索引操作与张量的维度一致。

原创 学习韩语1

다른 필름, 스티커 등을 화면에 부착하지 마세요. 화면 불량 등 제품 손상이 발생될 수 있으므로 주의하세요.• 화면을 밀거나 쓸어내리는 등 반복적인 터치 동작을 할 경우 보호 필름의 코팅이 벗겨질 수 있으므로 주의하세요.• 제품을 닫을 때, 카드, 동전, 열쇠 등이 끼면 화면이 손상될 수 있으니 주의하세요.• 이 제품은 방수, 방진 제품이 아니므로 물, 커피, 모래 등 액체나 이물질이 들어갈 경우 화면 스크래치나 찍힘 등 제품 손상이 발생할 수 있으므로

原创 损失消失、梯度消失

实习遇的问题记录。

原创 快速排序/归并排序中的递归问题

每一级的递归都使用它自己的私有的变量n，可以查看地址的值来证明。每一次函数调用都会有一次返回．当程序流执行到某一级递归的结尾处时，它会转移到前一级递归继续执行。位于递归调用语句前的语句的执行顺序和各个被调用函数的顺序相同，位于递归调用语句后的语句的执行顺序和各个被调用函数的顺序相反。递归函数中必须包含可以终止递归调用的语句来避免死循环。递归就是每一层都有一个断点, 执行完最后一层的程序之后返回最新的一个断点(最新的断点相当于次深层的断点).