- 博客(11)
- 收藏
- 关注
RSS订阅原创 只考虑二阶特征的情况下，对one-hot编码后的数据通过逻辑回归实现二分类
接下来，与线性拟合类似，进行参数估计与损失值计算，不同的是线性模型是采用最小二乘估计，而逻辑回归模型是采用最大似然估计，即分类正确的概率最大的情况下，求解参数，似然函数是一个关于参数的函数。假设有5个样本（样本数为n），一阶特征有2个，性别和爱好，其中性别特征有男女2种，爱好有4种，那么二阶特征有8种（2*4），那么训练数据X的维度应该是5*8。对于这个二分类任务，y的取值只有0和1两种，p(y=1)=sigmoid(w.x)，p(y=0)=1-p(y=1)，，其中幂指数是该事件发生时的真实值。
2024-09-05 15:13:28
419
原创 解决大模型训练中的CUDA out of memory
首先查看了训练 SFTTrainer 中的精度（sft_trainer.py 官方文档 line253）如下，说明只有当模型是4bit且不是 shared QLoRA 时，才会调用 peft_module_casting_to_bf16 函数，将PEFT模块转换为bf16（bfloat16）精度。该模型符合要求，因此去修改peft模块中的参数 bf16=False，但是还是报错，后来逐步检查发现是在模型训练初始阶段设置了bf16，将其改为float16就可以了。，于是尝试做了修改并实现了成功。
2024-06-14 23:28:51
843
转载 解决通义千问 RuntimeError: “addmm_impl_cpu_“ not implement
在jupyter notebook中调用通义千问大模型，test时遇到报错 RuntimeError: "addmm_impl_cpu_" not implement，这个错误通常是因为在代码中没有正确地初始化线程对象导致的。实现初始化线程对象即可。解决方法：重启内核。
2024-06-14 16:07:18
260
原创 解决failed with repodata from current_repodata.json, will retry with next repodata source
找到这个文件，将其中清华镜像源的地址由https改为http就可以了，下面是可以运行的.condarc文件内容。病急乱投医试了网上各种办法但没有解决，想修改.condarc文件也没找到。在Anaconda中创建新环境时遇到如下报错。后来发现.condarc文件是在这个目录下。
2024-06-14 10:38:29
592
转载 fasttext安装失败解决方法记录
上找到对应版本，我是window10及python10，因此选择 fasttext_wheel-0.9.2-cp310-cp310-win_amd64.whl 这个版本下载。然后cd到下载目录进行安装，显示successfully.在 Anaconda prompt 中通过pip安装失败。
2024-06-05 14:44:29
438
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人