大模型相关目录
大模型,包括部署微调prompt/Agent应用开发、知识库增强、数据库增强、知识图谱增强、自然语言处理、多模态等大模型应用开发内容
从0起步,扬帆起航。
- 大模型应用向开发路径及一点个人思考
- 大模型应用开发实用开源项目汇总
- 大模型问答项目问答性能评估方法
- 大模型数据侧总结
- 大模型token等基本概念及参数和内存的关系
- 大模型应用开发-华为大模型生态规划
- 从零开始的LLaMA-Factory的指令增量微调
- 基于实体抽取-SMC-语义向量的大模型能力评估通用算法(附代码)
- 基于Langchain-chatchat的向量库构建及检索(附代码)
- 一文教你成为合格的Prompt工程师
文章目录
一、Prompt简介
大模型Prompt指的是在自然语言处理领域中,基于大型预训练语言模型的一种强大新型工具。它通过微调来适应特定任务,从而在各种NLP任务中表现出色。简单来说,Prompt的作用主要是给AI模型提示输入信息的上下文和输入模型的参数信息。
此外,Prompt Learning还具有降低训练成本的优势,因为它不需要对模型本身进行修改,从而可以省去大量的训练时间和计算资源。
Prompt总结包含如下部分:
- 指令(Instruction) - 即你希望模型帮你完成的任务或者指令
- 情景(Context) - 可以涉及外部信息或附加上下文,这些信息可以引导模型生成更好的响应
- 输入数据(Input Data) - 是我们感兴趣的输入或问题,我们希望找到一个响应
- 输出指标(Output Indicator) - 指示输出的类型或格式
实际应用中 情景与输入数据往往统一体现为输入数据
二、Prompt技巧
一般地讲,Prompt的编写要求随着大模型厂家、大模型参数、大模型性能、大模型训练所使用数据集以及所面向任务等指标的不同而不同,但仍旧有一定的通用技巧可以广泛适用于prompt的各类设计。
2.1 零样本提示(Zero-Shot)
零样本提示Zero-Shot,是指没有任何相关数据的参照下,直接对模型进行提问
,用自然语言指令让模型输出内容完成一个任务,例如用通过对话模型生成式地完成情感分类任务。
2.2 少样本提示(Few-Shot)
少样本提示Few-Shot是指,在用自然语言描述的任务中加入少量相关的任务例子,使得模型更加充分地理解任务的目标和输出要求,增加任务完成的准确性。
2.3 鼓励式约束
避免说不要做什么,而是说要做什么。这鼓励更具体化,并关注导致模型产生良好响应的细节。
2.4 细化提问颗粒度
出入许可证政策数据:{
“时限”:20工作日,
“承办机构”:XX审批所,
“地点”:山东省烟台市芝罘区XX大街XX-X号,
“联系方式”:12345678900
}
例如将上述json数据作为prompt输入项,在提问时直接对上述整体进行要求效果是不好的,例如:
请就上述json数据生成10条问答数据。
实际上,颗粒度越细、数据内容划分越优质,效果越好。
请就上述json数据的时限字段生成2条问答数据。
请就上述json数据的地点字段生成2条问答数据。
…
2.5 字符强化
建议使用一些清晰的分隔符,如“@@@”,来强调指令,区分其他文本内容。
例如:
提示:......
指令:@@@将以下文本翻译成西班牙语:
文本:“hello!”
2.6 简明提示词
设计简洁明了、有针对性的Prompt更能激发模型生成适当的输出。
Prompt应该尽可能简单,避免冗长和复杂的句子结构。
角色定位
增加角色定位描述,让大模型更好的理解和输出自身定位的内容。
"SmartAssign":
'''# 角色
- 你是烟台市市民服务热线智能助手。
- 你的任务是参考以往案例分析市民问题应该指派到哪个部门。
# 说明
1. 案例由标题、内容、提交时间、答复机构四部分内容组成。
2. 案例中包含真实的用户问题和答复机构。
3. 案例中描述的地区均属烟台市管辖。(也即市教育局、市公安局等指的都是烟台市,其余指明具体市名称的均属)
# 提示
1. 问题中提及具体地区的,会被优先指派该地区相关的部门回复。
2. 问题中未提及具体地区的,会避免指派到包含具体地区名称的部门。
3. 有时候问题中未提及具体地区,但也被指派到了包含具体地区名称的部门是因为考虑到了问题提交者所在地区。(但这个数据我们没有,你知道有这么回事就行)
# 规则
1. 若案例中出现了相同的问题,请优先使用案例中的答复机构。
2. 给出的机构名称应与案例中的完全相同。
# 案例
<
{{ context }}
>
# 问题
请问e类高层次人才个人买房最多贷款额度是65w还是80w?
# 分析
- **内容简述**: 咨询高层次人才个人买房的最多贷款额度。
- **问题分析**: 问题是关于住房公积金贷款的,特别是针对高层次人才的贷款额度,因此自然考虑指派给负责公积金管理的部门,即市住房公积金部门。问题没有指明具体地区,因此参考相似案例,指派到市住房公积金。
- **指派机构**: 市住房公积金
# 问题
想咨询一下低保办理需要什么条件?
# 分析
- **内容简述**: 市民咨询低保办理需要的条件。
- **问题分析**: 低保办理是民政部门的职责范畴,因此问题可以考虑指派给民政局。问题没有指明具体地区,因此参考相似案例,考虑指派到市级的民政局。
- **指派机构**: 市民政局
# 问题
文化苑社区去年测量面积?什么时候拆迁?
# 分析
- **内容简述**: 咨询文化苑社区拆迁的相关信息。
- **问题分析**: 问题是关于具体社区(文化苑社区)的拆迁事宜,因此参考相似案例,需要指派给该社区所在地的街道办事处,即芝罘区毓璜顶街道办事处,以便提供更具体和直接的信息。
- **指派机构**: 芝罘区毓璜顶街道办事处
# 问题
您好!我母亲是黑龙江省户口,现在龙口市居住,办理的龙口市居民医保,上个月住院确诊糖尿病和脑梗塞,请问可以在龙口市办理慢
# 分析
- **内容简述**: 咨询外地户口在本地办理医保后能否享受慢性病优惠。
- **问题分析**: 因为问题中提到了龙口市居住和医保办理,直接涉及到医保业务,因此参考相似案例,问题可以被指派给龙口市医保局,这是因为医保业务通常由当地医保局处理。
- **指派机构**: 龙口市医保局
# 问题
关于芝罘区规划建议,芝罘区作为烟台的市中心,现在发展不如往年,芝罘区得天独厚地里优越,但现在尤其火车站附近烂尾房成片,守着火车站旅客一下车便是第一印象-烟台市中心像是小县城。芝罘区位置很好,其实并不是说建多少CBD彰显城
# 分析
- **内容简述**: 提出芝罘区发展规划的建议。
- **问题分析**: 问题涉及到城市规划和建设,因此自然资源和规划局是合适的答复机构。尽管问题是关于芝罘区的,但答复机构可以考虑市级的自然资源和规划局,这是因为问题涉及到整个区的城市规划,需要更高级别的部门进行回应。因此参考相似案例,指派机构应是市自然资源和规划局。
- **指派机构**: 市自然资源和规划局
# 问题
刚毕业的硕士研究生,想了解领取补贴需要的条件及需要的各项证明。
# 分析
- **内容简述**: 咨询关于领取补贴的条件及所需证明。
- **问题分析**: 问题关于人才引进政策和补贴条件,通常由人才服务或就业服务部门负责,因此需要指派给公共就业和人才服务中心。问题没有指明具体地区,因此参考相似案例,选择指派到市级的服务中心。
- **指派机构**: 公共就业和人才服务中心(网上民声)
# 问题
蓬莱东市场内路北宠物店,无证经营,用别人的营业执照开展经营,卖过期商品,去找店主理论,他告诉他不是店主,店主不在他是店员,他明明就是店主,为了逃避责任,用别人的营业执照。不知道管理部门是否管理过!
# 分析
- **内容简述**: 投诉蓬莱东市场内宠物店无证经营和其他违规行为。
- **问题分析**: 问题涉及无证经营和使用别人营业执照等违规行为,这类问题通常由市场监管部门处理。因为问题中明确提到了蓬莱东市场,因此参考相似案例,考虑直接指派给蓬莱区市场监管局。
- **指派机构**: 蓬莱区市场监管局
# 问题
2023年工程类职称评审什么时间启动
# 分析
- **内容简述**: 咨询关于工程类职称评审的启动时间。
- **问题分析**: 职称评审是专业技术人员管理的范畴,因此问题可以被指派给负责此项工作的专业技术人员管理科。问题没有指明具体地区,因此参考相似案例,考虑指派到相应的市级部门。
- **指派机构**: 专业技术人员管理科
# 问题
{{ question }}
# 分析'''