深度学习
文章平均质量分 64
phil_hk
小丑鱼
展开
-
开源模型应用落地-业务优化篇
通过使用线程池,可以在程序初始化时创建一组线程,并将任务提交给线程池进行处理,而不需要为每个任务都创建一个新的线程。是一种用于线程管理的技术,它包含一组预先创建的线程,用于执行任务。线程池维护着一个任务队列,当有任务到达时,线程池中的线程会自动分配任务并执行。// 对history进行裁剪或总结(检测history是否操作模型支持的上下文长度,例如qwen-7b支持的上下文长度为8192)特别是调用第三方在线违规词检测,例如:某某云的内容安全审核服务,是非常耗时,会阻塞正常线程的执行,导致吞吐量的下降。转载 2024-03-12 18:54:53 · 39 阅读 · 1 评论 -
开源模型应用落地-地表最强教程-生产级项目
在当今社会,实际应用比纯粹理解原理和概念更为重要。即使您对某个领域的原理和概念有深入的理解,但如果无法将其应用于实际场景并受制于各种客观条件,那么与其一开始就过于深入,不如先从基础开始,实际操作后再逐步深入探索。在这种实践至上的理念下,或许我可以为您提供一种直接的、实际操作的方法。希望能借助我的经验,为各位朋友带来一些有帮助的建议,例如:如果您在上述问题中有类似的疑问,我非常希望您能从中受益。通过实际案例,我们将为大家呈现一系列文章,帮助您了解如何将开源模型与业务整合。这些文章将引导您深入掌握该过程。转载 2024-03-12 18:34:44 · 100 阅读 · 1 评论