LLMs 大语言模型如何在NLP基础任务的落地?这篇文章让你一窥究竟!

一、信息抽取:zero-shot 的chatIE 信息抽取

论文名称:Zero-Shot Information Extraction via Chatting with ChatGPT

论文地址:https://arxiv.org/abs/2302.10205

github 地址:https://github.com/cocacola-lab/ChatIE/

文章《Zero-Shot Information Extraction via Chatting with ChatGPT》很有趣,该工作将零样本IE任务转变为一个两阶段框架的多轮问答问题(Chat IE),并在三个IE任务中广泛评估了该框架:

  • 实体关系三元组抽取
  • 命名实体识别
  • 事件抽取

在两个语言的6个数据集上的实验结果表明,Chat IE取得了非常好的效果,甚至在几个数据集上(例如NYT11-HRL)上超过了全监督模型的表现。

图片

其实现基本原理为,通过制定任务实体关系三元组抽取、命名实体识别和事件抽取,并为每个任务设计了2个步骤的prompt-pattern,针对zero-shot程IE的多轮QA框架:

  • 第一阶段:找到句子中的元素类型,结合元素类型列表来构建问题
  • 第二阶段:这个阶段一般包括多个QA回合:定义了一个问题模板链,根据每轮提取的元素组成结构化信息。

图片

任务要素定义:

df_eet = {
    'chinese': {'灾害/意外-坠机': ['时间', '地点', '死亡人数', '受伤人数'], '司法行为-举报': ['时间', '举报发起方', '举报对象'], '财经/交易-涨价': ['时间', '涨价幅度', '涨价物', '涨价方'], '组织关系-解雇': ['时间', '解雇方', '被解雇人员'], '组织关系-停职': ['时间', '所属组织', '停职人员'], '财经/交易-加息': ['时间', '加息幅度', '加息机构'], '交往-探班': ['时间', '探班主体', '探班对象'], '人生-怀孕': ['时间', '怀孕者'], '组织关系-辞/离职': ['时间', '离职者', '原所属组织'], '组织关系-裁员': ['时间', '裁员方', '裁员人数'], '灾害/意外-车祸': ['时间', '地点', '死亡人数', '受伤人数'],                 
                '人生-离婚': ['时间', '离婚双方'], '司法行为-起诉': ['时间', '被告', '原告'], '竞赛行为-禁赛': ['时间', '禁赛时长', '被禁赛人员', '禁赛机构'], '人生-婚礼': ['时间', '地点', '参礼人员', '结婚双方'], '财经/交易-涨停': ['时间', '涨停股票'], '财经/交易-上市': ['时间', '地点', '上市企业', '融资金额'], '组织关系-解散': ['时间', '解散方'], '财经/交易-跌停': ['时间', '跌停股票'], '财经/交易-降价': ['时间', '降价方', '降价物', '降价幅度'], '组织行为-罢工': ['时间', '所属组织', '罢工人数', '罢工人员'], '司法行为-开庭': ['时间', '开庭法院', '开庭案件'],                 
                '竞赛行为-退役': ['时间', '退役者'], '人生-求婚': ['时间', '求婚者', '求婚对象'], '人生-庆生': ['时间', '生日方', '生日方年龄', '庆祝方'], '交往-会见': ['时间', '地点', '会见主体', '会见对象'], '竞赛行为-退赛': ['时间', '退赛赛事', '退赛方'], '交往-道歉': ['时间', '道歉对象', '道歉者'], '司法行为-入狱': ['时间', '入狱者', '刑期'], '组织关系-加盟': ['时间', '加盟者', '所加盟组织'], '人生-分手': ['时间', '分手双方'], '灾害/意外-袭击': ['时间', '地点', '袭击对象', '死亡人数', '袭击者', '受伤人数'], '灾害/意外-坍/垮塌': ['时间', '坍塌主体', '死亡人数', '受伤人数'],                 
                '组织关系-解约': ['时间', '被解约方', '解约方'], '产品行为-下架': ['时间', '下架产品', '被下架方', '下架方'], '灾害/意外-起火': ['时间', '地点', '死亡人数', '受伤人数'], '灾害/意外-爆炸': ['时间', '地点', '死亡人数', '受伤人数'], '产品行为-上映': ['时间', '上映方', '上映影视'], '人生-订婚': ['时间', '订婚主体'], '组织关系-退出': ['时间', '退出方', '原所属组织'], '交往-点赞': ['时间', '点赞方', '点赞对象'], '产品行为-发布': ['时间', '发布产品', '发布方'], '人生-结婚': ['时间', '结婚双方'], '组织行为-闭幕': ['时间', '地点', '活动名称'],                 
                '人生-死亡': ['时间', '地点', '死者年龄', '死者'], '竞赛行为-夺冠': ['时间', '冠军', '夺冠赛事'], '人生-失联': ['时间', '地点', '失联者'], '财经/交易-出售/收购': ['时间', '出售方', '交易物', '出售价格', '收购方'], '竞赛行为-晋级': ['时间', '晋级方', '晋级赛事'], '竞赛行为-胜负': ['时间', '败者', '胜者', '赛事名称'], '财经/交易-降息': ['时间', '降息幅度', '降息机构'], '组织行为-开幕': ['时间', '地点', '活动名称'], '司法行为-拘捕': ['时间', '拘捕者', '被拘捕者'], '交往-感谢': ['时间', '致谢人', '被感谢人'], '司法行为-约谈': ['时间', '约谈对象', '约谈发起方'],                 
                '灾害/意外-地震': ['时间', '死亡人数', '震级', '震源深度', '震中', '受伤人数'], '人生-产子/女': ['时间', '产子者', '出生者'], '财经/交易-融资': ['时间', '跟投方', '领投方', '融资轮次', '融资金额', '融资方'], '司法行为-罚款': ['时间', '罚款对象', '执法机构', '罚款金额'], '人生-出轨': ['时间', '出轨方', '出轨对象'], '灾害/意外-洪灾': ['时间', '地点', '死亡人数', '受伤人数'], '组织行为-游行': ['时间', '地点', '游行组织', '游行人数'], '司法行为-立案': ['时间', '立案机构', '立案对象'], '产品行为-获奖': ['时间', '获奖人', '奖项', '颁奖机构'], '产品行为-召回': ['时间', '召回内容', '召回方']},    
    'english': {'Justice:Appeal': ['Defendant', 'Adjudicator', 'Crime', 'Time', 'Place'], 'Justice:Extradite': ['Agent', 'Person', 'Destination', 'Origin', 'Crime', 'Time'], 'Justice:Acquit': ['Defendant', 'Adjudicator', 'Crime', 'Time', 'Place'], 'Life:Be-Born': ['Person', 'Time', 'Place'], 'Life:Divorce': ['Person', 'Time', 'Place'], 'Personnel:Nominate': ['Person', 'Agent', 'Position', 'Time', 'Place'], 'Life:Marry': ['Person', 'Time', 'Place'], 'Personnel:End-Position': ['Person', 'Entity', 'Position', 'Time', 'Place'],                 
                'Justice:Pardon': ['Defendant', 'Prosecutor', 'Adjudicator', 'Crime', 'Time', 'Place'], 'Business:Merge-Org': ['Org', 'Time', 'Place'], 'Conflict:Attack': ['Attacker', 'Target', 'Instrument', 'Time', 'Place'], 'Justice:Charge-Indict': ['Defendant', 'Prosecutor', 'Adjudicator', 'Crime', 'Time', 'Place'], 'Personnel:Start-Position': ['Person', 'Entity', 'Position', 'Time', 'Place'], 'Business:Start-Org': ['Agent', 'Org', 'Time', 'Place'], 'Business:End-Org': ['Org', 'Time', 'Place'],                 
                'Life:Injure': ['Agent', 'Victim', 'Instrument', 'Time', 'Place'], 'Justice:Fine': ['Entity', 'Adjudicator', 'Money', 'Crime', 'Time', 'Place'], 'Justice:Sentence': ['Defendant', 'Adjudicator', 'Crime', 'Sentence', 'Time', 'Place'], 'Transaction:Transfer-Money': ['Giver', 'Recipient', 'Beneficiary', 'Money', 'Time', 'Place'], 'Justice:Execute': ['Person', 'Agent', 'Crime', 'Time', 'Place'], 'Justice:Sue': ['Plaintiff', 'Defendant', 'Adjudicator', 'Crime', 'Time', 'Place'],                 
                'Justice:Arrest-Jail': ['Person', 'Agent', 'Crime', 'Time', 'Place'], 'Justice:Trial-Hearing': ['Defendant', 'Prosecutor', 'Adjudicator', 'Crime', 'Time', 'Place'], 'Movement:Transport': ['Agent', 'Artifact', 'Vehicle', 'Price', 'Origin'], 'Contact:Meet': ['Entity', 'Time', 'Place'], 'Personnel:Elect': ['Person', 'Entity', 'Position', 'Time', 'Place'], 'Business:Declare-Bankruptcy': ['Org', 'Time', 'Place'], 'Transaction:Transfer-Ownership': ['Buyer', 'Seller', 'Beneficiary', 'Artifact', 'Price', 'Time', 'Place'],                 
                'Justice:Release-Parole': ['Person', 'Entity', 'Crime', 'Time', 'Place'], 'Conflict:Demonstrate': ['Entity', 'Time', 'Place'], 'Contact:Phone-Write': ['Entity', 'Time'], 'Justice:Convict': ['Defendant', 'Adjudicator', 'Crime', 'Time', 'Place'], 'Life:Die': ['Agent', 'Victim', 'Instrument', 'Time', 'Place']},
}

构造prompt的pattern:

ee_s1_p = {
    'chinese': '''给定的句子为:"{}"\n\n给定事件类型列表:{}\n\n在这个句子中,可能包含了哪些事件类型?\n请给出事件类型列表中的事件类型。\n如果不存在则回答:无\n按照元组形式回复,如 (事件类型1, 事件类型2, ……):''',    
    'english': '''The given sentence is "{}"\n\nGiven a list of event types: {}\n\nWhat event types in the given list might be included in this given sentence?\nIf not present, answer: none.\nRespond as a tuple, e.g. (event type 1, event type 2, ......):'''
} 

ee_s2_p = {
    'chinese': '''事件类型"{}"对应的论元角色列表为:{}。\n在给定的句子中,根据论元角色提取出事件论元。\n如果论元角色没有相应的论元内容,则论元内容回答:无\n按照表格形式回复,表格有两列且表头为(论元角色,论元内容):''',    
    'english': '''The list of argument roles corresponding to event type "{}" is: {}.\nIn the given sentence, extract event arguments according to their role.\nIf the argument role does not have a corresponding argument content, then the argument content answer: None\nRespond in the form of a table with two columns and a header of (argument role, argument content):'''
}

  • 参考:Johnson7788:通过与ChatGPT的聊天进行zero-shot的信息提取

二、情感观点挖掘 :ChatABSA

论文名称:InstructABSA: Instruction Learning for Aspect Based SentimentAnalysis

论文地址:https://arxiv.org/abs/2302.08624

github 地址:https://github.com/taishan1994/ChatABSA

简单的情感分析:给定一个句子,判断该句子所属的情感,复杂点的情感分析,总共有7个子任务。

上例子,是非常直接提问方式,单轮对话:

---SA---
---begin---
给你一个例子:
给出的句子是:值得去的地方,石头很奇特,景色优美,环境宜人,适合与朋友家人一起游玩!
你应该判断该句子的情感是什么,情感从['正面的', '负面的', '中性的']里选择。
输出列表:["正面的"]
如果不存在,回答:没有。
返回结果为输出列表。

现在,我给你一个句子,如"散热很好、低噪音、做工扎实、键盘舒适",你应该判断句子的情感倾向,并以列表的形式返回结果,如果不存在,则回答:没有。
{'sentence': '散热很好、低噪音、做工扎实、键盘舒适', 'type': '', 'access': '', 'task': 'SA', 'lang': 'chinese', 'result': ['正面的'], 'mess': [{'role': 'system', 'content': 'You are a helpful assistant.'}, {'role': 'user', 'content': '给你 一个例子:\n给出的句子是:值得去的地方,石头很奇特,景色优美,环境宜人,适合与朋友家人一起游玩!\n你应该判断该句子的情感是什么,情感从[\'正面的\', \'负面的\', \'中性的\']里选择。\n输出列表:["正面的"]\n如果不存在,回答:没有。\n返回结果为输出列表。\n\n现在,我给你一个句子,如"散热很好、低噪音、做工扎实、键盘舒适",你应该该句子的情感倾向,并以列表的形式返回结果,如果不存在,则回答:没有。'}]}

---AE---
---begin---
给你一个例子:
给出的句子是:值得去的地方,石头很奇特,景色优美,环境宜人,适合与朋友家人一起游玩!
给定实体类型列表:['方面']
你应该提取该句子里面的所有方面,这里的观点可能是对某方面的评价、介绍等。
输出列表:["地方", "石头", "环境", "景色"]
如果不存在,回答:没有。
返回结果为输出列表。

现在,我给你一个句子,如"味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢",你应该提取里面所有实体类型为方面的实体,并以列表的形式返回结果,如果不存在,则回答:没有。
{'sentence': '味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢', 'type': '', 'access': '', 'task': 'AE', 'lang': 'chinese', 'result': ['味道', '服务'], 'mess': [{'role': 'system', 'content': 'You are a helpful assistant.'}, {'role': 'user', 'content': '给你一个例子:\n给出的句子是:值得去的地方,石头很奇特,景色优美,环境宜人,适合与朋友家人一起 游玩!\n给定实体类型列表:[\'方面\']\n你应该提取该句子里面的所有方面,这里的观点可能是对某方面的评价、介绍等。\n输出列表 :["地方", "石头", "环境", "景色"]\n如果不存在,回答:没有。\n返回结果为输出列表。\n\n现在,我给你一个句子,如"味道很不 错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢",你应该提取里面所有实体类型为方面的实体,并以列表的形式返回结果, 如果不存在,则回答:没有。'}]}

---OE---
---begin---
给你一个例子:
给出的句子是:值得去的地方,石头很奇特,景色优美,环境宜人,适合与朋友家人一起游玩!
给定实体类型列表:['观点']
你应该提取该句子里面的所有观点,这里的观点可能是对某方面的评价、介绍等,请注意你只需要提取出观点,不要方面。
输出列表:["值得去", "奇特", "优美", "宜人"]
如果不存在,回答:没有。
返回结果为输出列表。

现在,我给你一个句子,如"味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢",你应该提取里面所有实体类型为观点的实体,并以列表的形式返回结果,如果不存在,则回答:没有。
{'sentence': '味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢', 'type': '', 'access': '', 'task': 'OE', 'lang': 'chinese', 'result': ['味道很不错', '喜欢吃', '服务也很好感觉很亲切', '吃的很舒服'], 'mess': [{'role': 'system', 'content': 'You are a helpful assistant.'}, {'role': 'user', 'content': '给你一个例子:\n给出的句子是:值得去的地方,石头 很奇特,景色优美,环境宜人,适合与朋友家人一起游玩!\n给定实体类型列表:[\'观点\']\n你应该提取该句子里面的所有观点,这里 的观点可能是对某方面的评价、介绍等,请注意你只需要提取出观点,不要方面。\n输出列表:["值得去", "奇特", "优美", "宜人"]\n如果不存在,回答:没有。\n返回结果为输出列表。\n\n现在,我给你一个句子,如"味道很不错,很喜欢吃。服务也很好感觉很亲切, 吃的很舒服,谢谢",你应该提取里面所有实体类型为观点的实体,并以列表的形式返回结果,如果不存在,则回答:没有。'}]}

---ALSC---
---begin---
给你一个例子:
给出的句子是:值得去的地方,石头很奇特,景色优美,环境宜人,适合与朋友家人一起游玩!
给定一个方面,你需要判断它的情感是什么,从['正面的', '负面的', '中性的']里进行选择。
比如,给定方面"地方",输出列表:["正面的"]
如果不存在,回答:没有。
返回结果为输出列表。

现在,我给你一个句子,如"味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢",和一个方面"味道",你应该判断它的情感,并以列表的形式返回结果,如果不存在,则回答:没有。
{'sentence': '味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢', 'type': '', 'aspect': '味道', 'access': '', 'task': 'ALSC', 'lang': 'chinese', 'result': [('味道', '正面的')], 'mess': [{'role': 'system', 'content': 'You are a helpful assistant.'}, {'role': 'user', 'content': '给你一个例子:\n给出的句子是:值得去的地方,石头很奇特,景色优美,环境 宜人,适合与朋友家人一起游玩!\n给定一个方面,你需要判断它的情感是什么,从[\'正面的\', \'负面的\', \'中性的\']里进行选择。\n比如,给定方面"地方",输出列表:["正面的"]\n如果不存在,回答:没有。\n返回结果为输出列表。\n\n现在,我给你一个句子,如"味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢",和一个方面"味道",你应该判断它的情感,并以列表的形式返回结果,如果不存在,则回答:没有。'}]}

---AOE---
---begin---
给你一个例子:
给出的句子是:值得去的地方,石头很奇特,景色优美,环境宜人,适合与朋友家人一起游玩!
给定一个方面,你需要识别它的观点或者修饰词是什么。
比如,给定方面"地方",输出列表:["值得去"],请注意结果不要带上方面。
如果不存在,回答:没有。
返回结果为输出列表。

现在,我给你一个句子,如"味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢",和一个方面"味道",你应该输出它的观点或修饰词,并以列表的形式返回结果,如果不存在,则回答:没有。给定方面"味道",则输出列表:["很不错", "很喜欢吃"]。
{'sentence': '味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢', 'type': '', 'aspect': '味道', 'access': '', 'task': 'AOE', 'lang': 'chinese', 'result': [('味道', '很不错'), ('味道', '很喜欢吃')], 'mess': [{'role': 'system', 'content': 'You are a helpful assistant.'}, {'role': 'user', 'content': '给你一个例子:\n给出的句子是:值得去的地方,石头很奇特,景色优美,环境宜人,适合与朋友家人一起游玩!\n给定一个方面,你需要识别它的观点或者修饰词是什么。\n比如,给定方面" 地方",输出列表:["值得去"],请注意结果不要带上方面。\n如果不存在,回答:没有。\n返回结果为输出列表。\n\n现在,我给你一 个句子,如"味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢",和一个方面"味道",你应该输出它的观点或修饰词,并以列表的形式返回结果,如果不存在,则回答:没有。'}]}

---PAIR---
---begin---
给你一个例子:
给出的句子是:值得去的地方,石头很奇特,景色优美,环境宜人,适合与朋友家人一起游玩!
你需要提取里面所有的方面及其对应的观点,请注意,方面可能是主体或者具有一定意义的名词,观点是形容某个方面的词。
输出列表:[("地方", "值得去"),("石头","奇特"),("环境", "优美"),("景色","宜人")]
如果不存在,回答:没有。
返回结果为输出列表。

现在,我给你一个句子,如"味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢",请识别出里面所有的方面及其对应的观点,并以列表的形式返回结果,如果不存在,则回答:没有。
{'sentence': '味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢', 'type': '', 'access': '', 'task': 'PAIR', 'lang': 'chinese', 'result': [('味道', '不错'), ('服务', '好'), ('感觉', '亲切'), ('口感', '舒服')], 'mess': [{'role': 'system', 'content': 'You are a helpful assistant.'}, {'role': 'user', 'content': '给你一个例子:\n给出的句子是:值得去的 地方,石头很奇特,景色优美,环境宜人,适合与朋友家人一起游玩!\n你需要提取里面所有的方面及其对应的观点,请注意,方面可能是主体或者具有一定意义的名词,观点是形容某个方面的词。\n输出列表:[("地方", "值得去"),("石头","奇特"),("环境", "优美"),("景色","宜人")]\n如果不存在,回答:没有。\n返回结果为输出列表。\n\n现在,我给你一个句子,如"味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢",请识别出里面所有的方面及其对应的观点,并以列表的形式返回结果,如果不存在,则回答:没 有。'}]}

---TRIPLET---
---begin---
给你一个例子:
给出的句子是:值得去的地方,石头很奇特,景色优美,环境宜人,适合与朋友家人一起游玩!
你需要提取里面所有的方面及其对应的观点和情感,情感从['正面的', '负面的', '中立的']中选择,请注意,方面可能是主体或者具有一定意义的名词,观点是形容某个方面的词。
输出列表:[("地方", "值得去","正面的"),("石头","奇特","正面的"),("环境", "优美","正面的"),("景色","宜人","正面的")]
如果不存在,回答:没有。
返回结果为输出列表。

现在,我给你一个句子,如"味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢",请识别出里面所有的方面及其对应的观点和情感,并以列表的形式返回结果,如果不存在,则回答:没有。
{'sentence': '味道很不错,很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢', 'type': '', 'access': '', 'task': 'TRIPLET', 'lang': 'chinese', 'result': [('味道', '不错', '正面的'), ('服务', '好', '正面的'), ('感觉', '亲切', '正面的'), ('吃的', '舒服', '正面的')], 'mess': [{'role': 'system', 'content': 'You are a helpful assistant.'}, {'role': 'user', 'content': '给你一个例子:\n给出的句子是:值得去的地方,石头很奇特,景色优美,环境宜人,适合与朋友家人一起游玩!\n你需要提取里面所有的方面及其对应的观点和情感,情感从[\'正面的\', \'负面的\', \'中立的\']中选择,请注意,方面可能是主体或者具有一定意义的名词,观点是形容某个方面的词。\n输出列表:[("地方", "值得去","正面的"),("石头","奇特","正面的"),("环境", "优美","正面 的"),("景色","宜人","正面的")]\n如果不存在,回答:没有。\n返回结果为输出列表。\n\n现在,我给你一个句子,如"味道很不错, 很喜欢吃。服务也很好感觉很亲切,吃的很舒服,谢谢",请识别出里面所有的方面及其对应的观点和情感,并以列表的形式返回结果, 如果不存在,则回答:没有。'}]}

  • 参考:taishan1994/ChatABSA

三、GPT-NER:使用大型语言模型进行命名实体识别

论文名称:GPT-NER: Named Entity Recognition via Large Language Models

论文地址:https://arxiv.org/pdf/2304.10428v1.pdf

github 地址:https://github.com/ShuheWang1998/GPT-NER

GPTNER遵循语境学习的一般范式,可以分解为三个步骤:

  • (1)构建提示:对于一个给定的输入句子X,我们为X构建一个提示(用Prompt(X) 来表示);
  • (2)将提示输入到大语言模型得到生成的文本序列W = {w1 ,…, wn };
  • (3)将文本序列W转化为实体标签序列,以获得最终的结果。

如图所示:

  • 第一句话:你是一个优秀的语言学家;
  • 第二句话:任务是从给定的句子中标记xxx实体。接下来是一些例子,然后给树了一些例子。最后再输入自己想要提取实体的句子得到结果。

很容易发现,每次只能提取一种实体,因此要提取出所有的实体,必须遍历实体列表。例如GPT-3,对提示的长度有 一个硬性的限制(例如GPT-3的4096个tokens)。鉴于这种有限的标记数量,我们不可能在一个提示中包括对所有实体类型的描述和演示。

图片

  • 参考:GPT-NER:使用大型语言模型进行命名实体识别

四、少量的NER:基于GPT的无注释和训练的实体提取

论文名称:GPT-NER: Named Entity Recognition via Large Language Models

论文地址:https://arxiv.org/pdf/2304.10428v1.pdf

github 地址:https://github.com/ShuheWang1998/GPT-NER

有少量的样本先丢进去,然后让其给出答案:

import nlpcloud

client = nlpcloud.Client("gpt-j", "your API token", gpu=True)
client.generation("""Extract job titles from the following sentences.

    Sentence: John Doe has been working for Microsoft for 20 years as a Linux Engineer.    
    Job title: Linux Engineer    
    ###    
    Sentence: John Doe has been working for Microsoft for 20 years and he loved it.    
    Job title: none    
    ###    
    Sentence: Marc Simoncini | Director | Meetic    
    Job title: Director    
    ###    
    Sentence: Franck Riboud was born on 7 November 1955 in Lyon. He is the son of Antoine Riboud, who transformed the former European glassmaker BSN Group into a leading player in the food industry. He is the CEO at Danone.    
    Job title: CEO    
    ###    
    Sentence: Damien is the CTO of Platform.sh, he was previously the CTO of Commerce Guys, a leading ecommerce provider.    
    Job title:""",
top_p=0.1,
length_no_input=True,
remove_input=True,
end_sequence="###",
remove_end_sequence=True
)

  • 参考:少量的NER:基于GPT的无注释和训练的实体提取

五、58AILAB的一些应用

论文名称:

论文地址:

github 地址:

58AI LAB进行了一些实践同时也给到了一些实验数据,来看几个任务:

5.1 情感极性分类

我们直接向ChatGPT发送Prompt提示「对下面的评论进行分类,类别有正向、其他,[商家很专业,很有耐心]属于什么类别?」,这里没有给其提供任何先验知识和例子,即Zero-Shot,它也能获得不错的效果,比BERT微调模型略低

图片

几个效果的对比:

图片

5.2 智能客服

智能客服的基本原理:企业维护了一套业务问答知识库,即一些业务问题和答案的集合,若用户在使用APP时遇到相关问题,他会在智能客服聊天窗口里输入问题进行咨询,机器会自动理解用户输入的问题,从问答知识库中找到那条和用户输入语义相同的问题,即文本匹配或文本分类,然后把该问题的答案返回给用户。

他们的实验之后的结论:

抽取了一定量线上真实用户的输入,并交给ChatGPT回答,最终证实了在业务问题上它会一本正经的"胡说八道"。当然,如果我们将问答知识库数据全部提交给ChatGPT做微调(Fine-tune),它也能回答得较好

图片

尽管ChatGPT不能直接拿来做智能客服,但是我们可以用它来做智能客服中的文本匹配任务

图片

模型对新问题识别效果较差,这里也可以在新问题产生时直接使用ChatGPT来为每个新问题生成若干扩展问法(数据增强)

5.3 智能外呼

人机语音对话相对微聊文本对话来讲延时更敏感,即需要NLP模型快速返回识别结果,耗时一般要求在数十到上百毫秒之间,因为人和机器在实时对话过程中若机器反应慢,例如数秒才响应,人会明显感觉到停顿,用户体验差,可能会直接挂断电话,影响转化效果,而在一些微聊智能客服场景下,为了让用户感觉到背后不是机器人,会故意让机器人回答慢一点,在程序中做一些延时回复操作。

使用ChatGPT离线实验了近期上线的一个语音对话场景下的槽位提取(实体抽取),识别对话内容中的地点和服务类别槽位,这里直接使用Zero-Shot,向ChatGPT发送提示「请抽取这段话中的省、城市、区县和服务类别」,从实验结果看ChatGPT表现不错。

图片

58同城 AI Lab 2022 年度回顾

六、基于ChatGLM-6B 的一些NLP基本任务

论文名称:

论文地址:

github 地址:

6.1 文本分类任务(Text Classification)

百度百科的几个句子:

1. 加拿大(英语/法语:Canada),首都渥太华,位于北美洲北部。东临大西洋,西濒太平洋,西北部邻美国阿拉斯加州,南接美国本土,北靠北冰洋。气候大部分为亚寒带针叶林气候和湿润大陆性气候,北部极地区域为极地长寒气候。
2. 《琅琊榜》是由山东影视传媒集团、山东影视制作有限公司、北京儒意欣欣影业投资有限公司、北京和颂天地影视文化有限公司、北京圣基影业有限公司、东阳正午阳光影视有限公司联合出品,由孔笙、李雪执导,胡歌、刘涛、王凯、黄维德、陈龙、吴磊、高鑫等主演的古装剧。
3. 《满江红》是由张艺谋执导,沈腾、易烊千玺、张译、雷佳音、岳云鹏、王佳怡领衔主演,潘斌龙、余皑磊主演,郭京飞、欧豪友情出演,魏翔、张弛、黄炎特别出演,许静雅、蒋鹏宇、林博洋、飞凡、任思诺、陈永胜出演的悬疑喜剧电影。
4. 布宜诺斯艾利斯(Buenos Aires,华人常简称为布宜诺斯)是阿根廷共和国(the Republic of Argentina,República Argentina)的首都和最大城市,位于拉普拉塔河南岸、南美洲东南部、河对岸为乌拉圭东岸共和国。
5. 张译(原名张毅),1978年2月17日出生于黑龙江省哈尔滨市,中国内地男演员。1997年至2006年服役于北京军区政治部战友话剧团。2006年,主演军事励志题材电视剧《士兵突击》。

需要输出结果为:

['国家', '电视剧', '电影', '城市', '人物']

为了让模型知道什么叫做「文本分类」,我们借用 Incontext Learning 的方式,先给模型展示几个正确的例子:

>>> User: "岳云鹏,本名岳龙刚,1985年4月15日出生于河南省濮阳市南乐县,中国内地相声、影视男演员。" 是 ['人物', '书籍', '电视剧', '电影', '城市', '国家'] 里的什么类别?
>>> Bot: 人物
>>> User: "《三体》是刘慈欣创作的长篇科幻小说系列,由《三体》《三体2:黑暗森林》《三体3:死神永生》组成,第一部于2006年5月起在《科幻世界》杂志上连载,第二部于2008年5月首次出版,第三部则于2010年11月出版。" 是 ['人物', '书籍', '电视剧', '电影', '城市', '国家'] 里的什么类别?

>>> Bot: 书籍

6.2 文本匹配任务(Text Matching)

一个根据句子对进行语义匹配的例子。

  1. (‘如何修改头像’, ‘可以通过上传图片修改头像吗’)
  2. (‘王者荣耀司马懿连招’, ‘王者荣耀司马懿有什么技巧’)
  3. (‘王者荣耀司马懿连招’, ‘历史上司马懿真的被诸葛亮空城计骗了吗’)

我们期望模型能够帮我们识别出这 3 对句子中,哪几对描述的是相似的语言。

我们期望模型输出的结果为:

['相似', '相似', '不相似']

为了让模型知道什么叫做「相似语言判断任务」,我们借用 Incontext Learning 的方式,先给模型展示几个正确的例子:

>>> User: 句子一: 如何找回账号\n句子二: 账号丢了怎么办\n上面两句话是相似的语义吗?
>>> Bot: 是
>>> User: 如何找回账号\n句子二: 附近最近的饭店\n上面两句话是相似的语义吗?
>>> Bot: 不是...


6.3 信息抽取(Information Extraction)

首先,我们定义信息抽取的 schema:

在这里插入图片描述

随后,我们从百度百科中找到一些句子,并利用模型进行信息抽取:

1. 张译(原名张毅),1978年2月17日出生于黑龙江省哈尔滨市,中国内地男演员。1997年至2006年服役于北京军区政治部战友话剧团。2006年,主演军事励志题材电视剧《士兵突击》。
2. 《琅琊榜》是由山东影视传媒集团、山东影视制作有限公司、北京儒意欣欣影业投资有限公司、北京和颂天地影视文化有限公司、北京圣基影业有限公司、东阳正午阳光影视有限公司联合出品,由孔笙、李雪执导,胡歌、刘涛、王凯、黄维德、陈龙、吴磊、高鑫等主演的古装剧。


为了让模型知道什么叫做「信息抽取」,我们借用 Incontext Learning 的方式,先给模型展示几个正确的例子:

# 提供一些例子供模型参考
ie_examples = {
        '人物': [             
                   {                  
                       'content': '岳云鹏,本名岳龙刚,1985年4月15日出生于河南省濮阳市南乐县,中国内地相声、影视男演员。',                        
                       'answers': {                          
                                      '姓名': ['岳云鹏'],                                        
                                      '性别': ['男'],                                        
                                      '出生日期': ['1985年4月15日'],                                        
                                      '出生地点': ['河南省濮阳市南乐县'],                                        
                                      '职业': ['相声演员'],                                        
                                      '获得奖项': ['原文中未提及']                            
                           }                    
                    }        
          ],        
          '书籍': [             
                      {                  
                          'content': '《三体》是刘慈欣创作的长篇科幻小说系列,由《三体》《三体2:黑暗森林》《三体3:死神永生》组成,第一部于2006年5月起在《科幻世界》杂志上连载,第二部于2008年5月首次出版,第三部则于2010年11月出版。',                        
                          'answers': {                           
                                          '书名': ['《三体》'],                                       
                                          '作者': ['刘慈欣'],                                        
                                          '类型': ['长篇科幻小说'],                                        
                                          '发行时间': ['2006年5月', '2008年5月', '2010年11月'],                                        
                                          '定价': ['原文中未提及']                            
                             }                    
                       }        
           ]
}


七、基于zero-shot的promptNER实体识别实践

论文名称:

论文地址:

github 地址:

本质就是多轮QA获取任务反馈:

https://redian.news/wxnews/146877

MLM和NSP两个任务是目前BERT等预训练语言模型预训任务,其中MLM要求指定周围词来预测中心词,其模型机构十分简单,如下所示:

import torch.nn as nn 
from transformers import BertModel,BertForMaskedLM
class Bert_Model(nn.Module):
    def __init__(self,  bert_path ,config_file ):     
        super(Bert_Model, self).__init__()        
        self.bert = BertForMaskedLM.from_pretrained(bert_path,config=config_file)  # 加载预训练模型权重    
    def forward(self, input_ids, attention_mask, token_type_ids):


下面一段代码,简单的使用了hugging face中的bert-base-uncased进行空缺词预测,先可以得到预训练模型对指定[MASK]位置上概率最大的词语【词语来自于预训练语言模型的词表】。

7.1 设定prompt-template

同样的,我们可以设定template,以一个人物为例,John是一个非常常见的名字,模型可以直接知道它是一个人,而不需要上下文

Sentence. John is a type of [MASK]

7.2 使用prompt_pred直接进行预测 我们直接进行处理,可以看看效果:
>>prompting.prompt_pred("John went to Paris to visit the University. John is a type of [MASK].")[:5]
[('man', tensor(8.1382)),
('john', tensor(7.1325)), 
('guy', tensor(6.9672)), 
('writer', tensor(6.4336)), 
('philosopher', tensor(6.3823))]
>>prompting.prompt_pred("Savaş went to Paris to visit the university. Savaş is a type of [MASK].")[:5]
[('philosopher', tensor(7.6558)),
('poet', tensor(7.5621)), 
('saint', tensor(7.0104)), 
('man', tensor(6.8890)),


7.3 加入类别词语vervlize进行情感预测

进一步的,我们加入类别词,进行预测,因为我们需要做的识别是人物person识别,因此我们可以将person类别相关的词作为token_list1,如[“person”,“man”],其他类型的,作为其他词语,如token_list2为[“location”,“city”,“place”]),而在其他类别时,也可以通过构造wordlist字典完成预测。

>>> prompting.compute_tokens_prob("It is a type of [MASK].",                              
                              token_list1=["person","man"], token_list2=["location","city","place"])
tensor([0.7603, 0.2397])
>>> prompting.compute_tokens_prob("Savaş went to Paris to visit the parliament. Savaş is a type of [MASK].",                              token_list1=["person","man"], token_list2=["location","city","place"])//确定概率为0.76,将大于0.76的作为判定为person的概率
tensor([9.9987e-01, 1.2744e-04])


从上面的结果中,我们可以看到,利用分类方式来实现zero shot实体识别,是直接有效的,“Savaş”判定为person的概率为0.99,

prompting.compute_tokens_prob("Savaş went to Laris to visit the parliament. Laris is a type of [MASK].",
                              token_list1=["person","man"], token_list2=["location","city","place"])
tensor([0.3263, 0.6737])


八、ChatGPT进行NLU的推理

论文名称:

论文地址:

github 地址:https://github.com/howl-anderson/unlocking-the-power-of-llms

8.1 NLU语料扩充

在学习了 ChatGPT 如何阅读表格后,下面我们将展示如何使用 ChatGPT 基于这些语料进行扩充:

你是一个自然语言处理的语料增强程序,请理解并增强下面这个的语料,不要过度泛化:

文本领域实体映射
打开车门设备控制设备:车门
关闭空调设备控制设备:空调
导航到人民路导航POI:人民路
开车去郊野公园导航POI:郊野公园

我们将得到如下的结果:

图片

8.2 NLU语料清洗

语料清洗这个工作在实际工作中非常重要,也是日常工作的一个痛点。我们可以使用 ChatGPT 作为一个语料清理程序纠正数据错误,并可以要求它给出每个修正的说明

下面我们将展示如何要求 ChatGPT 帮我们检查这批语料,并给出相应的修正说明:

你是一个自然语言理解的数据数据校验程序。请读取下面的语料表格,识别其中的数据错误。首先给出修改后的表格,然后在后面增加一个段落用列表的形式逐一备注这些修改:

文本领域实体映射
打开车门设备控制设备:车门
关闭空调导航设备:空调
导航到人民路导航POI:路
开车去郊野公园导航POI:郊野公园

那么我们将得到如下 ChatGPT 的回复:

图片

8.3 NLU推理

想要训练这个NLU模型,只需我们这样和 ChatGPT 这样说:

你是一个自然语言理解程序。请理解下面这个表格。要求实体必须出现在对应的文本中:

文本领域实体映射
打开车门设备控制设备:车门
关闭空调设备控制设备:空调
导航到人民路导航POI:人民路
开车去郊野公园导航POI:郊野公园

无需昂贵的GPU,也无需漫长的等待,ChatGPT 几乎瞬间就完成了理解也就是训练!它会打印出一些文字阐述它对这段语料的理解:

好的,我会理解这个表格。根据表格中的信息,我可以解释如下:

这个表格包含四行,每行都提供了一个不同的文本、一个领域和一个实体映射。其中,每个文本都描述了一个任务或操作,每个领域表示这个任务或操作所涉及的领域,每个实体映射列出了在每个文本中出现的实体及其对应的类型。

具体而言,第一行中的文本“打开车门”属于设备控制领域,其中的实体是“车门”,表示用户希望打开这个设备。第二行中的文本“关闭空调”也属于设备控制领域,其中的实体是“空调”,表示用户希望关闭这个设备。第三行中的文本“导航到人民路”属于导航领域,其中的实体是“人民路”,表示用户希望将目的地设置为这个地点。最后,第四行中的文本“开车去郊野公园”仍然属于导航领域,其中的实体是“郊野公园”,表示用户希望将目的地设置为这个公园并开始导航到那里。在上一步训练完成后,我们现在就可以要求 ChatGPT 进行推理了。下面展示如何进行推理:

那么“降低车窗”的领域和实体是什么?请用表格的形式输出。ChatGPT 给出的推理结果是:

好的,我可以用表格的形式来回答您的问题:

根据这个表格,我们可以看出“降低车窗”的领域是设备控制,实体是“车窗”,表示用户希望将车窗降低。

图片

8.4 中文分词和词性标注

你可以这样问 ChatGPT:

你是一个中文分词和词性分析程序,将下面的话分词并在每个词的后面添加词性信息:王小明在北京的清华大学读书。


那么 ChatGPT 就会回复你:

王小明/名词 在/介词 北京/名词 的/助词 清华大学/名词 读书/动词 。/标点


在输出文本中,每个词都是用空格分割的。每个词的后面都有词性标注,使用 / 进行了分割。这种表达方式是非常常见的(或者说是标准格式)

九、ChatGPT在推荐场景的应用

来自阿里的论文,考察了5个任务:

大致结论:

  • 实际的推荐任务:评分预测表现可以,其他序列推荐、直接推荐表现不好
  • 解释性的任务(生成观点、评论要点):表现得更拟人,看上去更合理

整个过程:

图片

不同任务的 Prompt 主要由三部分构成,分别:

  • 任务描述(Task Description):将推荐任务表述为自然语言处理任务
  • 行为注入(Behavior Injection):用来捕捉用户的偏好与需求
  • 格式指示(Format Indicator):规范输出格式,使得推荐结果更易理解和评估
  • 输出精炼(Output Refinement):对输出进行格式检查,如果输出通过了格式检查,则代表其格式可以用于后续评估工作,而如果没有通过,则基于规则进行格式修正,直到满足格式要求为至

由于 ChatGPT 生成模型的特质,其回复生成过程被人为的引入了随机性,这一点在推荐系统中将会导致推荐的输出结果不可靠,从而使得评估推荐系统的表现出现困难;因此,论文设计了输出精炼(Output Refinement)模块

9.1 评分预测

评分预测旨在预测用户对特定项目的评分

图片

论文中论证【评分预测】过程:按顺序输入用户的历史交互物品,并让 ChatGPT 直接预测进行实现

图片

评分预测主要使用 RMSE(Root Mean Square Error,RMSE) 和 MSE(Mean Absolute Error,MAE) 进行评估,如上表所示,对比 MF 和 MLP 方法,可以看出,使用 few-shot 的 ChatGPT 评分优于两种传统方法,体现了这类大规模语言模型在这种预测任务中的良好性能。

9.2 序列推荐

序列推荐任务要求系统根据用户过去的序贯行为预测其之后的行为 就是我告诉你,有个人昨天依次看过淘宝的【产品A,产品B,产品C】,现在看了【产品B】,后一个会看啥?笔者觉得这个任务还是蛮难的,除非可以让GPT先把所有产品名都学一下,不然肯定会给出非产品序列中的产品;文中虽然有基于相似度的文本匹配方法,但是这点还是不够,肯定需要“预训练”

如上图所示,论文为该任务设计了三种 Prompt 格式,分别是:

  • 基于交互历史直接预测用户的下一个行为
  • 从候选列表中选出可能的下一个行为
  • 判断指定行为成为用户下一个行为的可能性

图片

论文中论证【序列推荐】过程:在评估中设置正样本数为 1,负样本数为 99,从而形成一个长度为 100 的候选列表

图片

对比传统模型(传统深度学习推荐模型及预训练推荐系统模型),可以明显发现在 zero-shot 下 ChatGPT 表现几乎全线低于所有基准模型,而当使用了 few-shot 时,尽管看得出来性能有所提示,在 NDCG@5 中超过了 GRU4Rec,但是依旧明显弱于其他所有传统模型。

对于这一结果,论文猜测可能是由于 ChatGPT 输入字符的限制,导致推荐物品主要以标题作为表示,这使得物品之间的关系无法被有效表示,这对推荐任务来说可能是至关重要的。

同时,ChatGPT 也有可能生成不存在于数据集中的项目标题,但是论文作者表示,尽管他们已经使用相似性匹配将预测标题映射到了数据集中现有的标题中,但是这种映射并没有带来显著的增益。

9.3 直接推荐

直接推荐指通过利用用户评分或评论信息直接显示反馈推荐的任务,论文将这一任务的 Prompt 设计为从潜在的候选项中选择出最适合的一项

图片

论文中论证【直接推荐】过程:使用 Bert 计算标题向量与所有向量的相似度,选择相似度最高的物品作为候选

图片

直接推荐使用了与序列推荐相似的评价标准,从结果可以看到,当使用 zero-shot 时,推荐性能依然显著低于传统方法,这可能源于给 ChatGPT 的信息不足,导致无法捕捉用户的兴趣。

论文发现 ChatGPT 的推荐似乎非常依赖了构建的候选池中项目的顺序。ChatGPT 似乎通过大量刷题,没有学到试卷里的要考察的真正知识,而是学到了选 A,B 的概率要大于选 C,D 的概率这一信息,这个错误的知识会为 ChatGPT 在许多任务的应用中带来巨大的麻烦,也为 ChatGPT 的智能性提出了挑战。

9.4 推荐理由的文本生成

解释生成是为用户提供解释以澄清为什么会推荐此项的推荐系统任务

具体地,论文要求 ChatGPT 生成一个文本解释,以阐明解释生成过程,对每个类别,可以包含如提示词或星级评分等的辅助信息

图片

论文中论证【解释的生成】过程:论文对每个任务采样了一些不同方法的结果,由人工手动进行评分和排名。

图片

两种类型的测评,第一种:

图片

双语替换评测(Bilingual Evaluation Understudy,BLEU-n)以及 n-gram 召回导向评价(Recall-Oriented Understudy for Gisting Evaluation,ROUGE-n)

P5 为代表的预训练推荐系统似乎表现更加出色

第二种人工测评:

图片

四位人工注释者的结果有一定程度的主观性,但得分分布相对一致,普遍认为 ChatGPT 生成的解释更清晰更合理,甚至优于基准解释。与此同时,P5 的表现最差,其生成结果往往得出并不流畅的句子。

9.5 用户核心观点生成

旨在使用推荐系统自动生成用户评论摘要。通过输入用户的评论信息,Prompt 提示推荐系统总结评论的主要含义。

图片

论文中论证【用户核心观点生成】过程:论文对每个任务采样了一些不同方法的结果,由人工手动进行评分和排名。

结果示例:

图片

机器测评:

图片

P5 占优,但是这类摘要却忽略了评论中最有意义的信息。而 ChatGPT 则通过深入地理解和总结生成了更有效的摘要。

人工测评:

图片

所有注释者一致认为 ChatGPT 表现最佳,远超基准和 P5。

如何系统的去学习大模型LLM ?

作为一名热心肠的互联网老兵,我意识到有很多经验和知识值得分享给大家,也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑,所以在工作繁忙的情况下还是坚持各种整理和分享。

但苦于知识传播途径有限,很多互联网行业朋友无法获得正确的资料得到学习提升,故此将并将重要的 AI大模型资料 包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来

😝有需要的小伙伴,可以V扫描下方二维码免费领取🆓
在这里插入图片描述

一、全套AGI大模型学习路线

AI大模型时代的学习之旅:从基础到前沿,掌握人工智能的核心技能!

img

二、640套AI大模型报告合集

这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。

img

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展,AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型,如GPT-3、BERT、XLNet等,以其强大的语言理解和生成能力,正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

img

在这里插入图片描述

四、AI大模型商业化落地方案

img

阶段1:AI大模型时代的基础理解

  • 目标:了解AI大模型的基本概念、发展历程和核心原理。
  • 内容
    • L1.1 人工智能简述与大模型起源
    • L1.2 大模型与通用人工智能
    • L1.3 GPT模型的发展历程
    • L1.4 模型工程
      - L1.4.1 知识大模型
      - L1.4.2 生产大模型
      - L1.4.3 模型工程方法论
      - L1.4.4 模型工程实践
    • L1.5 GPT应用案例

阶段2:AI大模型API应用开发工程

  • 目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
  • 内容
    • L2.1 API接口
      - L2.1.1 OpenAI API接口
      - L2.1.2 Python接口接入
      - L2.1.3 BOT工具类框架
      - L2.1.4 代码示例
    • L2.2 Prompt框架
      - L2.2.1 什么是Prompt
      - L2.2.2 Prompt框架应用现状
      - L2.2.3 基于GPTAS的Prompt框架
      - L2.2.4 Prompt框架与Thought
      - L2.2.5 Prompt框架与提示词
    • L2.3 流水线工程
      - L2.3.1 流水线工程的概念
      - L2.3.2 流水线工程的优点
      - L2.3.3 流水线工程的应用
    • L2.4 总结与展望

阶段3:AI大模型应用架构实践

  • 目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
  • 内容
    • L3.1 Agent模型框架
      - L3.1.1 Agent模型框架的设计理念
      - L3.1.2 Agent模型框架的核心组件
      - L3.1.3 Agent模型框架的实现细节
    • L3.2 MetaGPT
      - L3.2.1 MetaGPT的基本概念
      - L3.2.2 MetaGPT的工作原理
      - L3.2.3 MetaGPT的应用场景
    • L3.3 ChatGLM
      - L3.3.1 ChatGLM的特点
      - L3.3.2 ChatGLM的开发环境
      - L3.3.3 ChatGLM的使用示例
    • L3.4 LLAMA
      - L3.4.1 LLAMA的特点
      - L3.4.2 LLAMA的开发环境
      - L3.4.3 LLAMA的使用示例
    • L3.5 其他大模型介绍

阶段4:AI大模型私有化部署

  • 目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
  • 内容
    • L4.1 模型私有化部署概述
    • L4.2 模型私有化部署的关键技术
    • L4.3 模型私有化部署的实施步骤
    • L4.4 模型私有化部署的应用场景

学习计划:

  • 阶段1:1-2个月,建立AI大模型的基础知识体系。
  • 阶段2:2-3个月,专注于API应用开发能力的提升。
  • 阶段3:3-4个月,深入实践AI大模型的应用架构和私有化部署。
  • 阶段4:4-5个月,专注于高级模型的应用和部署。
这份完整版的大模型 LLM 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费

😝有需要的小伙伴,可以Vx扫描下方二维码免费领取🆓

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值