- 博客(2)
- 收藏
- 关注
转载 开源模型应用落地-业务优化篇(一)
通过使用线程池,可以在程序初始化时创建一组线程,并将任务提交给线程池进行处理,而不需要为每个任务都创建一个新的线程。是一种用于线程管理的技术,它包含一组预先创建的线程,用于执行任务。线程池维护着一个任务队列,当有任务到达时,线程池中的线程会自动分配任务并执行。// 对history进行裁剪或总结(检测history是否操作模型支持的上下文长度,例如qwen-7b支持的上下文长度为8192)特别是调用第三方在线违规词检测,例如:某某云的内容安全审核服务,是非常耗时,会阻塞正常线程的执行,导致吞吐量的下降。
2024-03-13 18:47:57
18
转载 开源模型应用落地-KnowLM模型小试-入门篇(一)
指的是实体之间的连接或相互作用。关系可以是有向的或无向的,可以是单值的或多值的。是由浙江大学NLP&KG团队的在读博士生研发并开源的项目,是一种将LLM与知识图谱结合的知识抽取大模型,主要包含的任务有命名实体识别(NER)、事件抽取(EE)、关系抽取(RE)。'已知候选的关系列表:{s_schema},请你根据关系列表,从以下输入中抽取出可能存在的头实体与尾实体,并给出对应的关系三元组。"JSON字符串[{'head':'', 'relation':'', 'tail':''}, ]"
2024-03-13 18:21:11
214
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人