60个AIGC专业术语手册;5种大模型微调方法总结;大模型创业潮成败点评;AIGC通用大模型产品测评报告 | ShowMeAI日报

👀日报&周刊合集 | 🎡生产力工具与行业应用大全 | 🧡 点赞关注评论拜托啦!

🤖 ChatGLM 金融大模型挑战赛,冠军送12B模型授权+30W算力

GLM大模型联合安硕信息、阿里云、魔搭社区、北京交通大学,推出了「SMP 2023 ChatGLM 金融大模型挑战赛」,探讨如何用大语言模型更好地服务金融行业。报名时间为2023年7月20日至8月16日。

比赛要求参赛选手以 ChatGLM2-6B 模型为中心制作一个问答系统,回答用户的金融相关的问题,不允许使用其他的大语言模型。参赛选手可以使用其他公开访问的外部数据来微调模型,也可以使用向量数据库等技术。

主办方将为参赛者提供充足的算力、数据和技术支持,同时为冠军团队提供超级丰厚的奖励 ⋙ 点击报名

🤖 60个 AIGC 专业术语,入门必备手册

ShowMeAI知识星球资源编码:R174

这份文档整理了60个 AIGC 领域的专业术语,包含了每个术语的中文名、英文名和中文解释,是 AIGC 入门必备的学习手册。

通用人工智能 (AGI) :AGI 即 Artificial general intelligence 的简写,与狭义人工智能 (专注于特定任务) 不同,它的目标是实现全面性的智能,具备自主决策和创造性思维

人工智能 (AI) :AI 是人工智能 (Artificial Intelligence) 的缩写,它涵盖了各种技术和方法,旨在使计算机系统具备感知、理解、学习、推理、决策和交互等能力 ⋙ 点击查看全部图片

🤖 GitHub Copilot Chat:代码生成聊天机器人开始公测

7月20日,微软旗下 GitHub 宣布推出了 Copilot Chat 的公开测试版,这是一款人工智能工具,旨在协助开发者编写代码,并可直接集成到桌面 IDE 环境中。

Copilot Chat 不仅限于提供「代码缺省补充」和「代码纠错」,还能根据上文自动联想出后文内容。开发人员无论经验水平如何,都可以借助 Copilot Chat 在几分钟内构建完整的应用程序或调试代码库,从而提高开发者的生产效率和代码的准确性。此外,Copilot Chat 还可以与开发者展开对话,使人与AI的交互更加细致。

不过,Copilot Chat 对生产力的提升还有待验证,机器人编写的代码可靠性也令人担忧 ⋙ GitHub Blog

🤖 拉勾招聘上线「HRMind」,业内首个AI智能招聘助手产品

7月20日,拉勾招聘宣布上线AI智能招聘助手产品「HRMind」,这是在招聘行业内,首个基于预训练大模型实现广泛应用的招聘场景产品。

HRMind 是拉勾招聘根据数十万精英HR的招聘经验,采用了最先进的预训练大模型,自研打造的人工智能招聘助手,可处理对话聊天、智能问答等多轮交互沟通。

目前这款产品可供招聘者免费使用,招聘者在拉勾企业端后台点击「发布新职位」,AI助手可以根据输入的招聘需求关键字,自动生成完整的岗位招聘启事。未来,该产品还将实现帮助HR模拟面试、分析求职者简历等功能 ⋙ 拉勾招聘

🤖 小冰基于微软Azure,向亚洲客户推出新一代「AI数字员工解决方案」

7月24日,微软与小冰公司联合宣布,小冰将面向亚洲地区企业客户,推出基于微软国际版 Azure 新一代AI数字员工解决方案,双方将共同推进解决方案的市场普及

基于微软国际版 Azure 与小冰公司的 X-CoTA 技术,该解决方案可为客户实现拟人的对话式人工智能交互、广泛的逻辑思维能力、多模态生成能力与领域专业知识,有助于进一步提高AI数字员工效能 ⋙ 微软科技

🤖 大模型微调 (finetune) 方法总结,一篇文章带你解锁5种技术

这篇文章详细介绍了 LoRA、Adapter、Prefix-tuning、P-tuning 和 Prompt-tuning 这5种微调技术的方法论、实现原理和优缺点,并对每种方法都进行了翔实的技术解读&效果展示,让读者快速理解每种微调技术的精髓所在。

在实践中合理地选择和应用这些大模型微调技术,可以有效提升下游任务的效果,取得与全模型微调接近的表现,而又大幅降低了算力和存储成本。这对于中小企业能否取得大模型带来的效果提升,具有重大意义。

1. LoRA

论文:LoRA: Low-Rank Adaptation of Large Language Models - https://arxiv.org/pdf/2106.09685.pdf

代码https://github.com/microsoft/LoRA

简介:通过增加旁路低秩矩阵来模拟全模型微调,只训练降维矩阵A和升维矩阵B,固定原模型参数,实现轻量级微调

2. Adapter

论文:Parameter-Efficient Transfer Learning for NLP - https://arxiv.org/pdf/1902.00751.pdf

论文:MAD-X: An Adapter-Based Framework for Multi-Task Cross-Lingual Transfer - https://arxiv.org/pdf/2005.00052.pdf

简介:在模型层中添加 Adapter 模块,只训练 Adapter 的参数,固定原模型,避免灾难性遗忘;Adapter Fusion 通过两阶段训练提升性能

3. Prefix-tuning

论文:Prefix-Tuning: Optimizing Continuous Prompts for Generation - https://arxiv.org/pdf/2101.00190.pdf

代码https://github.com/XiangLi1999/PrefixTuning

简介:为模型添加连续的任务特定向量作为前缀,只优化前缀参数,实现轻量级微调

4. P-tuning

论文:GPT Understands, Too - https://arxiv.org/abs/2103.10385

代码https://github.com/THUDM/P-tuning

简介:使用模板和编码过的 prompt,在输入前后加入 anchor,同时只更新 prompt 的参数,适合 NLP 下游任务

5. Prompt-tuning

简介:为每个任务自定义 prompt 拼接在输入上,固定原模型只训练 prompt,可以达到与全模型微调相近的效果 ⋙ 知乎 @腾讯技术工程

🤖 大模型创业潮起潮落,盘点过往几个月里的输家与赢家

最近,AIGC独角兽 Jasper 裁员的消息,引发外界对发展前景的担忧。短短几个月里,行业几次风云突变。当前的AI创业格局到底如何?谁是赢家谁是输家?我们又当何去何从呢?

硅谷知名KOL、天使投资人、创业者 Sam Hogan 发表了一篇长推文,给出了他对当前AI创业现状的深刻洞察。在 Jasper 陷入困境之时,这篇分析尤其值得一读,让我们更全面地审视这个飞速发展的领域。

🔔 两类输家

  1. Jasper:作为一个通用AI供应商,融资超过1亿美元,估值达到10位数;但它仅仅是在OpenAI之上做了一个简单的包装,在缺乏核心技术优势的情况下面临着激烈的外部竞争,增长非常艰难;投资它的风险资本公司很可能会损失投资

  2. 初创团队:依靠聊天机器人热潮在12月到3月期间融资 (一般是250万到2500万美元),并期望将产品销售给产业下游公司与企业客户;虽然产品比Jasper更有侧重点,但是可复制性太强,没有核心技术壁垒,也很难打包卖给大厂

🔔 两类赢家

  1. 老牌公司和市场主导者:分利用内部工程团队和开源工具,迅速掌握了AI能力,并没有依赖外部不成熟的创业公司;因为AI对它们来说生死攸关,不能失败

  2. 独立开发者和个体户:小规模团队行动迅速,将LLM等新技术应用到小众领域,快速开发出微型SaaS产品,取得稳定现金流;他们依赖自己的直觉与市场,取得了目前最大的成功

🔔 有希望的新秀

  1. Cursor: 一个可能改变软件开发方式的AI优先代码编辑器

  2. Harvey:面向法律行业的AI产品

  3. Runway:基于AI的视频编辑器。这类公司从根本上重塑行业,最具未来潜力

🔔 总结

  1. 接受了风险投资、有投资回报压力的公司,日子没那么好过;筹集的资金越多,感受到的痛苦越大

  2. 市场领导者和大公司正快速使用内部团队和开源现成技术实现人工智能应用,削弱了创业公司的机会

  3. 独立开发者通过快速开发小众AI产品,实现了微型 SaaS 业务的成功

  4. 少数极具前景的新秀创业公司,拥有实现规模回报的最大潜力

  5. 如一些从根本上重新想象整个行业的公司更受VC青睐 ⋙ Twitter @Sam Hogan

🤖 甲子星空坐标系:AIGC 通用大模型产品测评报告

ShowMeAI知识星球资源编码:R175

甲子光年发布了一份权威的大模型产品评测报告深入考察了不同产品的技术原理、用户群体、应用场景等关键要素,运用独特的评测模型对主流大模型产品进行了全面系统的分析对比,并全面剖析了当前大模型发展现状和产业趋势。

1. 发布了甲子星空坐标系研究模型,该模型包含技术坐标和商业坐标两个维度,可以评估不同类型大模型产品的技术先进性和商业价值,并据此进行定位

2. 分析了大模型产品的用户画像特征,用户以20-35岁年轻人为主,其他年龄段用户占比均匀分布;教育程度以本科及以上居多,高中及以下仅占15%;职业以互联网和IT行业从业者为主

3. 发布了用户使用热度Top10大模型产品排名,分别是 ChatGPT、GPT-4、谷歌Bard、腾讯云、华为盘古、文心一言、360智脑、通义千问、商汤日日新和讯飞星火

4. 发布了大模型产品的用户价格接受度数据300元/季度是AIGC通用大模型产品用户可接受价格的最优定价

5. 发布了大模型产品市场地位评估结果,用户满意度高且愿意推荐给同行使用的大模型产品是华为盘古、腾讯云MaaS、Bard、商汤日日新、ChatGPT

6. 发布了大模型产品商业转化潜力评估结果,用户使用热度和成熟度方面均较为突出的大模型产品是翻译、编程与代码自动生成、海报设计、科研学术、办公 ⋙ 甲子光年

感谢贡献一手资讯、资料与使用体验的 ShowMeAI 社区同学们!

◉ 点击 👀日报&周刊合集,订阅话题 #ShowMeAI日报,一览AI领域发展前沿,抓住最新发展机会!

◉ 点击 🎡生产力工具与行业应用大全,一起在信息浪潮里扑腾起来吧!

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
模型微调方法是指在已经训练好的大型模型基础上,通过在特定任务上进行进一步训练来提高性能的方法。常见的大模型微调方法包括以下几种: 1. 迁移学习:将已经在大规模数据上预训练好的模型应用于新的任务上。通过微调模型的一部分或全部参数,使其适应新任务的特征和标签。迁移学习可以加快模型训练速度,提高模型性能。 2. 预训练-微调:首先在大规模数据上进行预训练,然后在特定任务上进行微调。预训练通常是在无监督或半监督的方式下进行,例如使用自编码器或生成对抗网络。预训练可以帮助模型学习到更丰富的特征表示,微调则使其适应具体任务。 3. 数据增强:通过对原始数据进行一系列变换和扩充,生成更多的训练样本。数据增强可以提高模型的泛化能力和鲁棒性,减少过拟合风险。 4. 优化算法调整:针对大模型微调过程中可能出现的问题,如梯度消失或梯度爆炸等,对优化算法进行调整。常见的优化算法包括梯度下降、Adam等。 大模型框架是指用于构建和训练大型模型的软件框架。常见的大模型框架包括以下几种: 1. TensorFlow:由Google开发的开源深度学习框架,支持构建和训练各种类型的神经网络模型,包括大型模型。TensorFlow提供了丰富的工具和库,方便进行模型微调和部署。 2. PyTorch:由Facebook开发的开源深度学习框架,提供了动态图机制和丰富的工具,使得构建和训练大型模型更加灵活和高效。PyTorch也被广泛应用于大规模模型微调和研究。 3. Keras:一个高级神经网络API,可以运行在TensorFlow、Theano和CNTK等后端上。Keras提供了简洁易用的接口,方便构建和训练大型模型。 4. MXNet:由亚马逊开发的深度学习框架,支持多种编程语言和硬件平台。MXNet提供了高性能的计算和训练能力,适用于大规模模型微调和部署。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ShowMeAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值