- 博客(168)
- 收藏
- 关注
RSS订阅原创 动态量化部署 Deepseek
为了让更多本地用户能够运行DeepSeek R1模型，Unsloth成功地将 DeepSeek 的 R1 671B 参数模型量化为 131GB大小，相比原始的 720GB减少了 80%，而且仍然保持很高的功能性。通过研究 DeepSeek R1 的架构，Unsloth成功地选择性地将某些层量化到更高的位数（比如 4bit），同时将大多数 MoE 层（如 GPT-4 中使用的层）量化为 1.5bit。简单地对所有层进行量化会完全破坏模型，导致无休止的循环和乱码输出。Unsloth的动态量化技术解决了这个问题。
2025-03-04 22:11:07
1105
原创 LibreOffice - pptx 转 pdf
文件到 应用程序后，双击打开。方式一：使用 brew（推荐）LibreOffice 下载。， 是语言包， 4M 左右。方式二：使用安装包安装。
2025-02-08 18:08:07
390
原创 ASGI 和 WSGI
1. **同步 vs 异步** 2. **协议支持** 3. **性能** 4. **应用场景** 5. **兼容性** 6. **示例代码** 总结
2025-02-08 09:30:19
576
原创 UV - Python 包管理
如果创建项目后，给库取别的名字，add 的时候，会自动创建。没有 requirements.txt 文件。有 requirements.txt 文件。
2025-02-07 19:33:14
1291
原创 Poetry 的版本前缀 ~ 和^
使用是为了确保依赖项的更新不会引入不兼容的更改（因为次版本号不变）。如果你希望允许次版本号的更新，可以使用。2025-02-07（五）
2025-02-07 10:43:54
325
原创 DF 开发1
AI Gateway 更强，需要在 Nginx 里面写配置；如加权轮询，一致性hash。可以以 ollama 在不同端口起服务测试。Dify 中只是简单轮询。
2025-01-28 22:27:13
342
1原创 HuggingFace datasets - 下载数据
下载数据修改默认保存地址 TRANSFORMERS_CACHE保存到本地 & 本地加载保存加载读取 `.arrow` 数据
2024-12-21 19:45:00
1047
原创 报错 - SyntaxError: invalid non-printable character U+00A0
报错 - SyntaxError: invalid non-printable character U+00A0
2024-11-30 17:38:12
657
原创 docker compose - 设置名字（project-name）
设置 project-name，docker 客户端会显示设置的名字，方便区分。启动容器，默认名字为当前文件夹的名字。
2024-11-11 16:32:34
1862
原创 macOS M2 安装 Jax (jax-metal)
loc("-":0:0): error: current mps dialect version is 1.0.0, can't parse version 1.1.0
2024-11-08 19:10:48
361
原创 Docker + Python
一、Docker Hub - 使用搜索 Python二、Python Image 使用1、如何使用此 Image在 Python 应用项目中 创建`Dockerfile`文件运行单个 Python 脚本镜像中的多个 Python 版本2、镜像变体1、`python:`2、`python:-slim`3、`python:-alpine`4、`python:-windowsservercore`
2024-11-08 10:51:34
530
原创 RAG - 使用 langchain 快速实现
在 ipynb 运行 getpass，上方会弹出输入框，输入 huggingface 的 token。转载自：如何基于Huggingface + Langchain 快速实现RAG。
2024-02-05 15:50:47
765
原创 查看文件夹所有文件个数
然而这个统计可能是不精准的，比如我有一个文件夹，文件结构如下。一般可以使用下面代码看一个文件夹下 第一级文件个数。如果要看下面所有子文件夹，及其个数，有人推荐使用。用grep命令过滤出以-开头的行（表示文件）这样得到的数量为 2，更准确点。目前看这个方法是最好最通用的。只看 .txt 文件。
2024-01-23 11:24:37
1077
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人