- 博客(2)
- 收藏
- 关注
RSS订阅
转载 开源模型应用落地-地表最强教程-生产级项目
在当今社会，实际应用比纯粹理解原理和概念更为重要。即使您对某个领域的原理和概念有深入的理解，但如果无法将其应用于实际场景并受制于各种客观条件，那么与其一开始就过于深入，不如先从基础开始，实际操作后再逐步深入探索。在这种实践至上的理念下，或许我可以为您提供一种直接的、实际操作的方法。希望能借助我的经验，为各位朋友带来一些有帮助的建议，例如：如果您在上述问题中有类似的疑问，我非常希望您能从中受益。通过实际案例，我们将为大家呈现一系列文章，帮助您了解如何将开源模型与业务整合。这些文章将引导您深入掌握该过程。
2024-03-12 18:34:44
62
1
转载 开源模型应用落地-业务优化篇
通过使用线程池，可以在程序初始化时创建一组线程，并将任务提交给线程池进行处理，而不需要为每个任务都创建一个新的线程。是一种用于线程管理的技术，它包含一组预先创建的线程，用于执行任务。线程池维护着一个任务队列，当有任务到达时，线程池中的线程会自动分配任务并执行。// 对history进行裁剪或总结（检测history是否操作模型支持的上下文长度，例如qwen-7b支持的上下文长度为8192）特别是调用第三方在线违规词检测，例如：某某云的内容安全审核服务，是非常耗时，会阻塞正常线程的执行，导致吞吐量的下降。
2024-03-12 18:54:53
23
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人