- 博客(13)
- 收藏
- 关注
RSS订阅原创 lecture2-资源计算和pytorch基本操作
混合精度训练 (Mixed Precision)计算（MatMul）使用BF16（快，省显存，不易溢出）。参数与优化器状态保持FP32（保证更新精度，避免训练发散）。初始化 (Initialization)不要直接用randn，随维度增加会导致数值爆炸。使用（除以 \sqrt{\text{input\_dim}}）。确定性 (Determinism)调试时务必固定随机种子（Seed），包括数据加载、初始化、Dropout 等。数据加载大模型数据（如 Llama 2.8TB）无法一次载入内存。使用。
2025-12-05 09:33:54
617
原创 （二）显存计算
训练一个大型语言模型（如700亿参数）所需显存极其庞大，全参数微调（Full Fine-Tuning）动辄需要约1TB的显存，远超单张显卡的容量。算法层面优化：采用**参数高效微调（PEFT）**技术，如LoRA和QLoRA，通过只训练模型一小部分参数来大幅降低显存。系统层面优化：利用等技术，将模型参数、梯度和优化器状态等数据卸载（Offload）到CPU内存或硬盘，以突破单卡显存的物理限制。方案核心原理优点缺点全参数微调训练所有参数效果可能最好显存需求极大 (约1TB级别)LoRA。
2025-06-25 02:31:57
553
原创 4.4 模型选择、欠拟合和过拟合
均方误差函数，衡量每个样本的损失（loss)；常用于回归任务，比如房价预测交叉熵用于，输出是概率（如 [0.1, 0.9]）。均方误差（Mean Squared Error）:reduction - 是否需要聚合（加和、求均值）假设features是PyTorch张量，形状为(batch_size, num_features) first_two_samples = features[:2] # 提取前2个样本，形状为(2, num_features)
2025-06-24 15:36:00
277
原创 Mac [forkpty: device not configured] [未能创建新的进程和打开伪终端(pseudo-tty)。]
摘要：用户安装非纯净版Cursor 0.45后，Mac系统出现异常，终端报错"[forkpty:devicenotconfigured]"。尝试删除login文件、修改终端设置和终止高内存进程均无效。最终通过"退出当前用户登录并保留窗口"的解决方案，系统自动终止可疑进程后恢复正常，终端功能恢复且数据无损。问题可能与非纯净软件导致的系统冲突有关，建议谨慎安装第三方应用。
2025-05-28 11:20:04
775
原创 投期刊，改格式tips
比如：References should include the names of all authors when six or fewer;when seven or more, list only the first six names and add et al.该斜体的斜体，该粗体的粗体。
2025-05-15 21:38:16
192
原创 外键字段无法相互匹配排查
警惕隐藏字符：当数据比较（尤其是在JOIN或WHERE子句中）不符合预期时，要考虑到可能存在隐藏的特殊字符（如空格、制表符\t、换行符\n、回车符\r等）。这些字符在普通的SELECT结果中可能不可见。LENGTH()和HEX()是利器LENGTH()可以帮助判断是否存在额外的不可见字符导致长度异常。HEX()则能将字符串的每一个字节都以十六进制形式显示出来，使得所有隐藏字符无所遁形。TRIM()的局限性TRIM()函数默认只能去除字符串首尾的空格字符。对于其他类型的空白字符或特殊字符，TRIM()
2025-05-12 00:42:03
830
原创 【conda环境】libssl.so.3: cannot open shared object file: No such file or directory
小小感悟：Claude的整体能力确实很强，但是不适合让他对项目做大修改，最适合的应用场景应该是你下达比较准确的指令，他帮你完成重复性的劳动，这就决定了如果是一些复杂项目，你还是得熟悉项目架构、语言。关于agent功能，因为在执行过程中他可能会误解需求/新建很多没必要的文件，导致项目错乱，还是不能滥用，一些特殊bug还是尽量谷歌百度，普适性的bug参考下ai也还行。时刻在每个请求的最后附上：先理解我的需求，和我说明你接下来需要做什么，得到我的确认之后，你才可以进行下一步代码的执行。
2025-03-30 02:55:51
520
原创 Cannot add or update a child row: a foreign key constraint fails (`biomarkers`.`#sql-47fa_287`, CONS
直观来看，degs中的外键“platform_info_id”中的值确实是和“platforminfo”中的主键“索引列”是一样的，值也都是一样的“P001”，但是就是显示设置失败“Cannot add or update a child row: a foreign key constraint fails (`biomarkers`.`#sql-47fa_287`, CONS”设置的外键与另一个表中的唯一索引列（一般是主键）中的值不匹配。# 解决办法：删除要成为外键的列，再次创建并默认为。
2025-03-28 17:23:11
355
原创 Django : OperationalError: (1054, u“Unknown column ‘degs.id‘ in ‘field list‘“)
【代码】Django : OperationalError: (1054, u“Unknown column ‘degs.id‘ in ‘field list‘“)
2025-03-23 21:18:46
149
原创 Django：AttributeError: ‘module‘ object has no attribute ‘Mirna‘
模型没有导入到项目的model文件，很有可能model是空的或者没有及时更新。
2025-03-23 21:16:01
164
原创 ABOR（Django）开发 0322
解决思路（1）修改了数据库表结构之后没有更新model.py（2）虽然执行了命令，但是可能生成的新的模型文件路径不在项目下面（很傻，但是很致命）bug检查工作流url---知道执行函数view---推断HTMLhtml---调用模型对不对1. 更改数据库表后生成新的模型文件记得指定生成的文件的路径，应该位于!!!!!!!2. 生成迁移所需要的指导文件3.执行迁移。
2025-03-23 00:00:58
214
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人