- 博客(182)
- 收藏
- 关注
RSS订阅原创 openai.RateLimitError: Error code: 429 - {‘error‘: {‘message‘: ‘Your account co2faualnl9bb8bf99d0＜ak
根本问题，我TM的是KIMI的非续费用户，访问速率被严重限制了，日了。考虑到Kimi在内容理解上和百度文心一言的差距，果断续费了文心一言。
2024-04-25 10:56:14
1004
原创 LORA详解（史上最全）
LoRA 模型是一种Stable Diffusion模型的小型模型，通过对标准检查点模型进行微小更改来实现。它们的大小通常比检查点模型小 10 到 100 倍，这使得它们对于拥有大量模型的人非常有吸引力。LoRA（Low-Rank Adaptation）是一种用于微调Stable Diffusion模型的训练技术。但我们已经有了其他的训练技术，例如 Dreambooth 和 文本反转。那么 LoRA 有何特别之处呢？LoRA 在文件大小和训练能力之间取得了良好的平衡。
2024-04-24 12:53:27
20121
1
原创 RuntimeError: FlashAttention only supports Ampere GPUs or newer.
详细描述请查看：https://github.com/Dao-AILab/flash-attention。是否有解决方案，暂无，除非能搞到A100或者H100以及更高版本的机器；GPU机器配置低，不支持 特斯拉-V100；哎，无奈手里机器不支持玩Llama 3；
2024-04-23 19:56:15
1692
1
原创 Llama网络结构介绍
LLaMA现在已经是开源社区里炙手可热的模型了，但是原文中仅仅介绍了其和标准Transformer的差别，并没有一个全局的模型介绍。因此打算写篇文章，争取让读者不参考任何其他资料把LLaMA的模型搞懂。
2024-04-23 17:30:06
3047
1
原创 2024年调研学习文档资料汇总
2、图文分类：https://huggingface.co/docs/transformers/model_doc/chinese_clip。3、多卡训练：https://blog.csdn.net/qq_51392112/article/details/129737803。18、腾讯预训练平台：https://github.com/Tencent/TencentPretrain/tree/main。1、chatGLM实践：https://zhuanlan.zhihu.com/p/622686205?
2024-04-03 11:34:10
444
原创 OpenBLAS blas_thread_init: pthread_create failed for thread 1 of 40: Operation not permitted
容器权限不足
2023-10-24 15:26:55
3026
原创 Unexpected bus error encountered in worker. This might be caused by insufficient shared memory (shm)
容器共享内存资源不足
2023-10-24 15:20:32
395
原创 RuntimeError: The size of tensor a (631) must match the size of tensor b (512) at non-singleton dime
过滤下训练语料，将长度过长的数据直接丢弃；
2023-04-27 15:23:38
3693
原创 packaging.version.InvalidVersion: Invalid version: ‘0.10.1,＜0.11‘
packaging.version.InvalidVersion: Invalid version: '0.10.1,
2023-04-26 14:30:13
10700
3
原创 AttributeError: module ‘tensorflow._api.v2.train‘ has no attribute ‘Optimizer‘
我直接将TensorFlow从2.8降到了1.14。2、不降版本，直接改api–这个我没兴趣，真懒；版本迭代，相关方法被移除；
2023-04-25 19:53:25
1325
原创 AssertionError: The NVIDIA driver on your system is too old (found version 10010)
AssertionError 解决
2023-04-03 17:57:34
197
原创 高效解决：remote: The project you were looking for could not be found.
remote: The project you were looking for could not be found.fatal: repository 'https://gitlab.vmic.xyz/72163948/game_category_rpc_server_dev.git/' not found
2023-03-09 19:51:05
309
原创 Error executing Jupyter command ‘notebook‘: [Errno 2] No such file or directory
Jupyter bug Error2
2023-02-17 17:21:57
780
原创 Command “python setup.py egg_info“ failed with error code 1 in /tmp/pip-build-30xnni_y/gensim/
python setup.py egg_info
2023-02-15 15:10:16
376
原创 ERROR: Cannot uninstall ‘certifi‘. It is a distutils installed project and thus we cannot accurately
BUG原因：错误：无法卸载“证书”。这是一个 distutils 安装的项目，因此我们无法准确确定哪些文件属于它，这只会导致部分卸载。
2023-01-10 16:42:50
4361
原创 解决BUG：error: metadata-generation-failed
在执行批量安装命令pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple之前，先执行pip install setuptools==57.5.0 -i https://pypi.tuna.tsinghua.edu.cn/simple 命令。
2023-01-10 16:17:43
47013
13
原创 linux常见命令汇总（非常系统、非常全面）
Linux操作系统命令整理1. 今日梳理1.1 Linux操作系统1.2 Linux常见命令2. 知识点汇总描述2.1 快捷键：快速打开终端：Ctrl + Alt + t ；快速放大字体：Ctrl + shift + （+号）;快速缩小终端字体：Ctrl + （-号）；2.2 查看Linux版本：cat /proc/version2.3 目录操作相关命令：2.3.1 pwd：查看当前所停留的路径；2.3.2 ls 指定路径：查看制定目录下文件及文件夹信息；备注如果为加指定路径则默认为
2022-04-06 16:17:38
1458
原创 fatal: unable to access ‘https://github.com/facebookresearch/fastText.git/‘: Encountered end of file
BUG示例fatal: unable to access 'https://github.com/facebookresearch/fastText.git/': Encountered end of file尝试解决方案在开启shadowsocks的前提下，手动配置git的代理。git客户端输入如下两个命令就可以了。配置git代理git config --global http.proxy http://127.0.0.1:1080git config --global https.p
2022-04-06 10:29:39
1751
原创 完美解决：error: RPC failed； result=35, HTTP code = 0
BUGerror: RPC failed; result=35, HTTP code = 0报错原因分析远程便捷HTTP传输请求数据时最大的缓存字节数，默认时1M字节，默认能满足大多数请求。而当git clone的是大文件，就需要调大git缓存值解决方案说明sudo git config --global http.postBuffer 5242880000...
2022-04-06 10:20:55
3785
1
原创 The unauthenticated git protocol on port 9418 is no longer supported.
BUG解决方案最好复制粘贴，手敲易出错。。。git config --global url."https://".insteadOf git://再次拉一下代码就好了亲测有效
2022-03-31 17:54:59
486
原创 cuda、TensorFlow、Python适配情况
cuda和TensorFlow适配情况TensorFlow和Python适配情况相关官方参考链接：https://tensorflow.google.cn/install/source#linuxhttps://tensorflow.google.cn/install/source#cpuhttps://tensorflow.google.cn/install/source#gpu
2022-03-10 19:42:02
1084
原创 精准设置GPU占用率
相关参考文档:https://blog.csdn.net/liumoude6/article/details/82762529
2022-03-01 11:56:36
906
原创 Bert预训练相关参数梳理
Bert预训练相关参数梳理作者：白鹿第一阶段：CreatePretrainData阶段参数名称参数说明do_lower_case是否忽略大小写max_seq_length每条训练数据的最大长度，过长的会截取，不够的会进行paddingmax_predictions_per_seq每条样本被允许遮蔽token的最大数量masked_lm_prob每条样本以15%的概率遮蔽token，具体内部还有8：1：1区分处理short_seq_prob命令行.
2022-02-25 16:22:14
1892
原创 关于bert预训练过程中的一些感悟
Bert预训练最近在处理利用Bert训练领域内数据的事情，感悟颇多，接下来我就讲相关感悟记录如下:感悟01如果你负责贵公司的相关预训练任务，请先花几天时间把Bert论文和源码好好学习学习，真的，这点我感悟颇深，个人在2019年就拜读过Bert论文，在处理相关预训练任务之前自认为对Bert理解比较到位，但这次自己真的负责相关事项的时候，才发现那些理解还是太肤浅了。感悟02一定要养成做工作笔记的好习惯，记录好日常工作中的重点问题；我这边从Bert预训练调研、Bert论文再次拜读、Bert源码分析
2022-02-25 11:22:40
159
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人