部署
weixin_45463503
这个作者很懒,什么都没留下…
展开
-
【大模型---在线量化和离线量化】
例如,Bitsandbytes库提供了一种data-free的量化方法,可以在模型加载时动态量化,不需要预先的数据校准过程。例如,使用PyTorch的量化API可以实现离线量化,通过观察模型在校准数据集上的表现来确定最佳的量化参数。在大模型中,“在线量化”和“离线量化”是指模型量化的两种不同方式。总结来说,在线量化和离线量化是指模型量化的两种不同方法,它们各有优势。在线量化适用于需要快速部署的场景,而离线量化则提供了更多的控制,可以在量化前后进行模型性能的评估。原创 2024-02-26 19:40:42 · 564 阅读 · 2 评论 -
如何在linux服务器中安装NVIDIA GPU驱动,超级详细的保姆级安装流程步骤!
如何在Linux系统服务器中安装NVIDIA GPU驱动? 怎么在服务器中安装GPU环境?原创 2024-02-21 16:12:14 · 1576 阅读 · 1 评论 -
如何使用本地电脑通过远程连接,使用服务器上docker容器里的python资源?
背景:如何在本地电脑上通过远程连接的方式,访问使用服务器上docker容器内的python环境,解决本地pycharm中资源问题。原创 2023-09-17 17:35:14 · 287 阅读 · 1 评论