Prompt
起源于研究者们为了下游任务设计出来的一种输入形式,它的作用是能够帮助预训练模型“回忆”起自己在预训练时“学习”到的东西,因此又可以叫它提示词。而对于大语言模型来说,Prompt 就是用户的输入,它可以是一句简单的问题,一段较长的文本,也可以是一组指令,这取决于用户的具体需求。
JSON
JSON: JavaScript Object Notation(JavaScript 对象表示法)
JSON 是存储和交换文本信息的语法,类似 XML。
JSON 比 XML 更小、更快,更易解析。
JSON 易于人阅读和编写。
C、Python、C++、Java、PHP、Go 等编程语言都支持 JSON。
数据增强
数据增强,例如同义词替换或数据翻转,生成更多样本。
作用
1) 避免过拟合。当数据集具有某种明显的特征,避免模型学到跟目标无关的信息。
2)提升模型鲁棒性,对训练数据加上噪声,掩码等方法可提升模型鲁棒性。
3)增加训练数据,提高模型泛化能力。
4)避免样本不均衡。
库
multiprocessing:用于并行处理。
json:用于处理JSON数据。
os:操作系统相关功能。
pprint:用于美观地打印数据。
re:正则表达式处理。
tqdm:进度条显示。
random:随机数生成。
uuid:生成唯一标识符。
openai:调用OpenAI API。
tiktoken:处理Token。
numpy:科学计算。
requests:发送HTTP请求。
retry:提供重试机制。
scipy:科学计算库。
concurrent.futures:并发执行。
loguru:日志记录库。
time:处理时间相关功能。
HTTPStatus:HTTP状态码。
dashscope:API调用工具。
函数
logger.remove():移除默认的日志记录器。
logger.add(...):添加一个新的日志记录器