- 博客(2034)
- 资源 (460)
- 问答 (108)
- 收藏
- 关注
RSS订阅原创 T5 预训练模型
如果只有30-40w数据，训练出来有很多语句不通的case，从零训练一个T5-Base需要200-300W+数据，可以用预训练模型解决语句不通的问题。
2025-05-22 15:03:26
21
原创 huggingface transformers 加载预训练好的模型时，只加载部分层数
【代码】huggingface transformers 加载预训练好的模型时，只加载部分层数。
2025-05-22 11:59:22
20
原创 python报错，A module that was compiled using NumPy 1.x cannot be run in NumPy 2.x as it may crash
解决方法，安装1.x版本的numpy。
2025-05-11 14:23:21
147
原创 python报错，ValueError: numpy.dtype size changed, may indicate binary incompatibility.
【代码】python报错，ValueError: numpy.dtype size changed, may indicate binary incompatibility.
2025-05-11 12:15:01
167
原创 deepspeed的PPO算法实现和代码阅读
actor_loss计算代码，可见是新logits和旧的logits的距离计算之后，乘以advantage得到最终的loss。reward计算代码，可见通过计算ref-model的输出和actor-model的输出的距离得到reward。advantage计算代码，可见advantage是next-value减去value得到的。critic_loss计算代码，可见critic的逻辑是判断新value和旧value的距离。
2025-04-23 16:00:04
240
1原创 【文生图，图问答】《Janus: Decoupling Visual Encoding》阅读笔记
对于图像理解和图像生成，之前的工作，用单一的一个visual encoder，然而对于图像理解和图像生成，所需要不同粒度的visual encoder，本文提出把visual encoder分路的方法。
2025-04-21 10:48:33
64
原创 image tokenizer 原理和代码
添加位置编码：将position encoding加到patch embedding。线性投影：通过卷积或全连接层将每个patch展平为embedding。图像分块：将输入图像划分为N×N（如16×16）的patch。
2025-04-11 10:23:38
175
原创 分类问题，数据分布不均匀，解决方案
现在标注了10W数据，这时训练一个模型B，就可以从给10000W数据预测，用来训练一个模型A，来给10000W数据预测，从里面捞出 各类别里数据少的，作为待标注候选。比如我们要标注100W数据，
2025-03-27 22:31:51
74
原创 单GPU/单机多卡 微调deepseek-llm-7b-base
在这里下载 https://huggingface.co/deepseek-ai/deepseek-llm-7b-base。所有代码：https://github.com/guotong1988/LLM-post-training。下面的deepseek-llm-7b-base是一个文件夹。
2025-03-27 09:44:26
273
原创 unzip报错：invalid zip file with overlapped components (possible zip bomb)
【代码】unzip报错：invalid zip file with overlapped components (possible zip bomb)
2025-03-25 15:15:49
111
原创 报错：flash_attn_2_cuda.cpython-39-x86_64-linux-gnu.so: undefined symbol
里下载相应的版本安装。
2025-03-15 19:18:44
169
原创 Mac报错 /bin/sh: wget: command not found
具体在clone https://huggingface.co/ 的资源时候报的错。
2025-03-11 10:33:03
115
原创 DQN（Deep Q-Network）代码实现
https://github.com/pytorch/rl/tree/main/sota-implementations/dqn核心部分：
2025-02-25 11:20:05
213
转载 MLA（Multi-Head Latent Attention）代码实现
https://github.com/deepseek-ai/DeepSeek-V3/blob/main/inference/model.py
2025-02-25 10:35:06
57
转载 MoE（Mixture-of-Experts）代码实现
https://github.com/deepseek-ai/DeepSeek-V3/blob/main/inference/model.py
2025-02-25 10:32:12
65
原创 torchrl报错，Supported version of ‘torchrl.envs.libs.gym.GymEnv._set_gym_args‘ has not been found
【代码】Supported version of ‘torchrl.envs.libs.gym.GymEnv._set_gym_args‘ has not been found。
2025-02-24 09:32:02
117
原创 Spark计算两列的编辑距离，先collect()一个列，再broadcast的方法，加速
【代码】Spark计算两列的编辑距离，先collect()一个列，再broadcast的方法，加速。
2025-02-21 09:18:57
49
原创 SQL大坑：union会合并后去重，union all不会有distinct的结果
【代码】SQL大坑：union会合并后去重，union all不会有distinct的结果。
2025-02-20 15:57:38
152
flash-attn-2.7.0.post2+cu11torch2.4cxx11abiFALSE-cp38-cp38-linux-x86-64.whl
2025-03-24
flash-attn-2.7.4.post1+cu12torch2.4cxx11abiFALSE-cp39-cp39-linux-x86-64.whl
2025-03-23
flash-attn-2.7.3+cu11torch2.4cxx11abiFALSE-cp39-cp39-linux-x86-64.whl
2025-03-15
Chinese-DeepSeek-R1-Distill-data-110k
2025-03-13
torch-1.13.1+cu117-cp38-cp38-linux-x86-64.whl
2024-12-20
torch-2.0.0+cu118-cp38-cp38-linux-x86-64.whl的zip-2/2
2024-12-19
torch-2.0.0+cu118-cp38-cp38-linux-x86-64.whl的zip-1/2
2024-12-19
depth-anything/Depth-Anything-V2-Base-hf
2024-11-08
torchvision-0.19.1+cu118-cp38-cp38-linux-x86-64.whl
2024-10-29
自动驾驶，如何得到方向盘转动的ground truth？
2024-03-18
AlphaGo能超越人类，因为训练时 对于模型的每个输入，都有一个100%正确的答案?
2024-01-16
其实LLM/ChatGPT是否在距离AlphaGo式AI越来越远？
2024-01-16
技术上，ChatGPT要成为 AI医生/AI律师/AI教师 还欠缺哪些能力？
2024-01-11
数学 是且仅是 一种语言和一种工具，不是科学的全部？
2023-12-14
哪些时候用CUDA编程更好？
2023-12-14
用RL做NLP，和 根据那条数据的reward重新标注那条数据 有什么区别？
2022-05-07
没有物理机器人载体，如何在模拟环境里的进行学习和研究机器人？
2022-04-28
2022年了，USB式GPU有哪些进展？
2022-04-28
2022年了，有哪些稳压deepfm的CTR模型？
2022-04-01
CTR模型，如果上线了没效果，这时可以进行哪些分析工作？以及有无必要投入大量时间分析？
2022-03-24
算法工程师如何应对做算法策略的不确定性；比如没效果，这时绩效怎么保证？
2022-03-01
CTR模型必须要有一个测试数据集吗？ 训练数据集和测试数据集是同一个，可以吗？
2022-02-25
为啥我感觉现在机器学习模型就是一种模糊匹配工具or相似识别工具？
2022-02-16
因果推断技术靠谱吗，感觉里面的影响因素太多了，所以能实际解决落地问题吗？
2022-02-08
XGB/GBDT/决策树，得出特征重要性的原理是什么？
2022-02-08
强化学习是不是无人驾驶的未来？
2022-02-01
GAN生成图像，弄一个discriminator ，和无D直接生成，区别是？
2022-02-01
哪些互联网公司的管理职级和专业职级是分开的？
2022-01-22
CTR模型的AUC如果比较高，是否其实只是 因为复购行为带来的AUC虚高？
2022-01-17
CTR模型的本质是不是算出 user的哪些特征和item的哪些特征 最匹配？
2022-01-08
人工智能的因果学习（Causal Learning）到底想解决什么问题？
2021-12-17
BYOL里stop-gradient的作用是什么？
2021-12-01
马上2022年了，强化学习+NLP 有了哪些突破？
2021-11-26
马上2022年了，pointer-network现在看来的作用是什么？
2021-11-26
总被主管说文档写的不好怎么办？
2021-11-18
NER任务只有一个类的情况下，BME或者Yes-No的数据预处理方式对结果有影响吗？
2021-11-08
学好数学对于编程的真实增益的性价比到底如何？
2021-11-03
学好数学对于编程的真实增益到底是多少？
2021-11-03
如果说每一个数学公式都在描述一件事情，那么数学公式的推导，是在做什么？
2021-10-26
每个物理公式是否都是在【描述】一个事情？
2021-10-12
求通俗讲讲数学或理论物理进行研究的细节，复杂公式是不是也都是由基础公式而来？
2021-09-14
TA创建的收藏夹 TA关注的收藏夹
TA关注的人