- 博客(395)
- 收藏
- 关注
RSS订阅原创 漫谈设计模式 [16]：中介者模式
老鸟：我们可以用一个简单的生活例子来理解中介者模式。想象一下，你在一个公司工作，公司里有很多同事。如果每个同事都需要直接和其他所有同事沟通，整个沟通过程会非常混乱，对吧？菜鸟：对啊，人越多越难管理。老鸟：所以，公司通常会有一个中介——比如一个经理。所有的沟通都通过经理来进行。同事A想和同事B沟通，他只需要告诉经理，经理再去通知同事B。这样，沟通就变得简单和有序了。这就是中介者模式的核心思想。菜鸟：哦，我明白了。中介者模式是通过一个中介来简化对象之间的通信。老鸟。
2024-09-07 23:40:08
918
原创 漫谈设计模式 [15]：观察者模式
老鸟：我们先从生活中的例子聊起吧。假设你是个新闻记者，每当有重大新闻发生时，你需要通知各种媒体平台，比如电视、电台、报纸等。每次你都得一个一个通知，感觉很麻烦吧？菜鸟：是啊，如果能一次通知所有人就好了。老鸟：没错，这就是观察者模式的核心思想。你可以把自己看作"被观察者"（Subject），而那些需要通知的媒体平台看作"观察者"（Observer）。当有新闻发生时，你只需要告诉所有观察者，他们自己会去更新。老鸟：今天我们聊了观察者模式，主要解决了同步更新的问题，核心是解耦和易于扩展。
2024-09-07 23:39:26
743
原创 漫谈设计模式 [14]：迭代器模式
当然可以！我们先从一个生活中的例子开始。想象你有一本书，你想一页一页地阅读。你会一页一页地翻，而不是一次性把所有页都看完，对吧？迭代器模式就是这样的一个“翻页器”，它让你可以逐个处理集合中的元素，而不需要关心集合的内部结构。今天我们聊了迭代器模式的核心思想、基本实现以及它的优势和适用场景。希望你对迭代器模式有了更深入的理解。接下来你可以阅读《设计模式：可复用面向对象软件的基础》这本书，了解更多设计模式。
2024-09-07 23:38:14
754
原创 漫谈设计模式 [13]：命令模式
老鸟：好，那我们从生活中的例子开始吧。想象一下，你在一家餐馆点餐。你给服务员下单，服务员把你的订单传递给厨房，厨师根据订单准备食物。这里，菜单上的每一道菜就像一个“命令”，服务员是“调用者”，厨师是“接收者”。命令模式就是把这种模式应用到代码中。菜鸟：哦！这样说好像有点明白了。老鸟：简单来说，命令模式将请求封装成对象，从而让你可以用不同的请求、队列或者日志来参数化其他对象。这样可以更清晰地管理请求。老鸟：总结一下，命令模式将请求封装成对象，从而使你可以用不同的请求来参数化其他对象。
2024-09-07 23:37:15
1465
原创 漫谈设计模式 [12]：模板方法模式
老鸟：想象一下做咖啡和茶的过程。两者有相似的步骤，比如烧水、倒入杯子，但也有不同的部分，比如泡茶叶和冲咖啡。我们可以定义一个模板方法来统一这些相似的步骤，然后将不同的部分留给具体实现。菜鸟：哦，明白了。那具体怎么实现呢？老鸟：我们可以从一个简单的例子开始。先写一个基础的类来表示饮料制作的流程。passpass菜鸟：这里用了方法来定义流程，但具体的brew和没有实现，是这样吗？老鸟：对的，因为不同的饮料会有不同的酿造和添加调料步骤。现在我们来创建具体的子类，比如茶和咖啡。菜鸟。
2024-09-07 23:33:20
770
原创 漫谈设计模式 [11]：代理模式
老鸟：想象一下，你有一个朋友非常忙，你需要通过他的秘书与他联系。这个秘书就是你的代理，他可以帮你处理一些简单的事情，比如预约时间、传递信息等。这样，你的朋友就可以专注于他的重要工作。这就是代理模式的基本思想：通过代理对象来控制对实际对象的访问。菜鸟：哦，我明白了。代理对象就像是中间人，帮我们处理一些额外的事务。老鸟：没错。代理模式的核心思想就是在不改变原有对象的情况下，通过代理对象来添加额外的功能。老鸟：今天我们讨论了代理模式的核心思想、实现方法、优势以及适用场景。希望你能在实际项目中灵活应用。
2024-09-07 23:32:00
1437
原创 漫谈设计模式 [10]：享元模式
老鸟：假设你在游戏中有很多相同的树对象，每个树对象都保存了相同的属性，比如类型、颜色等。你会怎么实现呢？菜鸟：可能会创建一个Tree类，然后每次需要时实例化一个新的对象。# 创建很多树对象老鸟：这就是问题所在。你创建了很多相同的树对象，占用了大量内存。其实这些对象的某些属性是可以共享的。老鸟：总结一下，享元模式通过共享相似对象的内部状态，减少内存占用。适用于需要大量相似对象的场景。你可以参考《设计模式》这本书，里面有详细的介绍。菜鸟我会继续学习其他设计模式的！老鸟。
2024-09-07 23:31:10
778
原创 漫谈设计模式 [9]：外观模式
菜鸟：外观模式？能不能解释一下是什么？老鸟：好，我们先从一个生活中的例子说起。你买了一台新电视，电视上有很多接口，比如HDMI、USB、网线等等。如果每次你都要自己插各种线并调整设置，会很麻烦对吧？菜鸟：是的，确实很麻烦。老鸟：于是，你买了一个万能遥控器，这个遥控器可以帮助你一键连接所有设备并调整设置。你只需要按一个按钮，就可以享受电视和其他设备的无缝连接。菜鸟：听起来不错，这和编程有什么关系呢？老鸟：在编程中，外观模式就像这个万能遥控器。它提供一个简单的接口，隐藏了复杂的子系统调用。
2024-09-07 23:29:01
1013
原创 漫谈设计模式 [8]：装饰器模式
老鸟：想象一下，你有一个简单的汉堡，只有面包和肉。现在你想加一些配料，比如生菜、番茄和奶酪。你可以一个个地加上去，这样就能得到一个更丰富的汉堡。装饰器模式就像是给汉堡加配料，逐步增强它的功能。菜鸟：哦，这样说我就明白一点了。那代码里该怎么实现呢？老鸟：我们先写一个最基本的函数，然后再逐步加上装饰器。老鸟：总结一下，装饰器模式是一种结构型设计模式，可以动态地为对象添加功能，而不改变其结构。它的优势在于灵活性和可维护性，适用于日志记录、权限校验等场景。菜鸟有没有推荐的书或资料可以进一步学习？老鸟。
2024-09-07 23:27:54
939
原创 漫谈设计模式 [7]：桥接模式
老鸟：当然。你可以把桥接模式看作是将抽象部分与其实现部分分离，使它们可以独立地变化。简单来说，就是让形状和颜色这两个概念独立开来，这样你就不会因为增加一种形状或颜色而修改大量代码。菜鸟：有点抽象，能不能举个例子？老鸟：好比你有一张桌子和几种颜色的油漆。你可以给桌子刷不同的颜色，但你不会因为要增加一种新颜色而去重新制作桌子，对吧？菜鸟：嗯，有点明白了。老鸟：今天我们讨论了桥接模式，通过将形状和颜色独立开来，使得它们可以独立变化，减少了系统的耦合性，增加了灵活性。
2024-09-07 23:26:48
1190
原创 漫谈设计模式 [6]：适配器模式
老鸟：适配器模式的核心思想是将一个接口转换成客户端希望的另一个接口。举个生活中的例子，你知道电源适配器吧？菜鸟：嗯，知道。不同国家的电源插头形状不一样，但通过电源适配器，我们可以使用同一个设备。老鸟：对，这就是适配器模式的本质。让我们把这个概念应用到编程中，你会发现它非常有用。老鸟：今天我们讨论了适配器模式，它的核心思想是将一个接口转换成客户端希望的另一个接口。我们通过一个简单的 Python 示例展示了如何实现适配器模式，并讨论了它的优势和适用场景。菜鸟接下来我应该学习什么呢？老鸟。
2024-09-07 23:25:30
1274
原创 漫谈设计模式 [5]：建造者模式
老鸟：你可以把建造者模式想象成一个精心制作汉堡的过程。想象一下，你在一家汉堡店，你可以选择面包、肉饼、蔬菜、酱料等等。你可以按自己的喜好一步步定制一个汉堡。建造者模式就是把对象的创建过程分成多个步骤，逐步构建复杂对象。菜鸟：哦，原来是这样！那建造者模式的核心思想是什么？老鸟：核心思想就是将一个复杂对象的构建过程分离出来，使得构建过程可以一步步进行，并且不同的构建步骤可以有不同的实现方式。老鸟：今天我们讨论了建造者模式，从基础实现到逐步扩展，讲解了其优势和适用场景。
2024-09-07 23:24:17
1426
原创 漫谈设计模式 [4]：原型模式
老鸟：好，我们先从一个简单的例子开始。你有没有买过外卖？菜鸟：当然有啊。老鸟：那你有没有注意到，每次你点的餐都差不多，但还是需要重复选择和确认？菜鸟：是的，每次都要点很多相似的选项，有点烦。老鸟：原型模式就像是保存了一份你常点餐的菜单模板，每次点餐的时候，只需要复制这个模板，再根据需要进行微调。这样就省去了重复选择的麻烦。菜鸟：哦，明白了，那在编程中怎么实现呢？老鸟：今天我们学习了原型模式，它通过复制现有对象来创建新的对象，避免了重复代码，简化了对象的创建过程。
2024-09-07 23:22:16
955
原创 漫谈设计模式 [3]：单例模式
菜鸟：听起来不错，但具体怎么实现呢？老鸟：我们可以用生活中的例子来理解单例模式。想象一下，你家里有一个电灯开关，每次你要开灯或关灯你都会去同一个地方操作，这个开关就相当于单例。你不会为每个灯泡都创建一个新的开关。菜鸟：那这样说来，单例模式就是为了确保某些资源只会有一个实例存在，对吧？老鸟：没错！接下来我们用Python代码来实现一下。老鸟：今天我们通过对话了解了单例模式的概念、实现方法、优势和适用场景。你觉得有帮助吗？菜鸟我对设计模式越来越感兴趣了。接下来有什么推荐的吗？老鸟。
2024-09-07 23:20:53
1190
原创 漫谈设计模式 [2]：工厂方法模式
老鸟：简单来说，工厂方法模式是一种创建对象的设计模式。它将对象的创建过程封装在一个工厂类中，而不是在代码中直接使用构造函数。举个生活中的例子，想象你去了一家餐馆点餐。你不会亲自去厨房做饭，而是告诉服务员你要什么，然后服务员帮你把饭菜准备好。这就类似于工厂方法模式。菜鸟：哦，有点明白了。也就是说，工厂方法模式可以帮我们把对象的创建过程封装起来，对吧？老鸟：没错！它的核心思想就是将对象的创建延迟到子类中，让子类决定要创建的对象类型。老鸟：今天我们讨论了工厂方法模式，包括它的定义、优势、适用场景以及常见误区。
2024-09-07 23:20:03
1094
原创 漫谈设计模式 [1]：简单工厂模式
好的，简单工厂模式其实就像一个工厂，根据不同的需求生产不同的产品。想象一下，你去一家咖啡店点咖啡，店员会根据你点的咖啡类型（比如拿铁、卡布奇诺等），做出相应的咖啡。这就是简单工厂模式的一个类比。今天我们讨论了简单工厂模式的定义、实现方式及其优势。简单工厂模式可以提高代码的可维护性和扩展性，但也需要注意避免滥用。如果你对设计模式感兴趣，我推荐你阅读《设计模式：可复用面向对象软件的基础》这本书，里面介绍了更多的设计模式和应用场景。
2024-09-07 23:18:41
747
原创 【一步一步手把手教会你】Deep_live_cam一键克隆动态的目标对象
每当科研累了的时候，总想找一些有趣的AI项目上手试一下效果，感受最新的AI进展。前两天deep_live_cam又火了一圈，今天花了半天的时间进行了一次复现部署，快速给出。网上有很多集成包，但是大部分都是付费的骗子，实际上，由于这个包依赖较多，很难集成到一个程序就能搞定的地步。因此，本文主要按照顺序一步一步教会你在Win10/11下进行此程序。该项目在上已经开源,并且也给出了详细的指南。大家按照指南就可以运行。本文是一个复现指导。
2024-08-27 10:53:44
688
原创 [直接上代码]服务器多用户使用Anaconda指南
这是直接需求：如果一台服务器，有多个用户使用，可以使用root把软件安装在任何目录下，然后共享给所有用户使用。其他用户将在自己的home目录下创建属于自己的虚拟环境，互相之间不会影响。在服务器上安装anaconda并被多个用户使用。
2024-07-23 20:53:44
353
原创 ACL 2024 Accepted Paper 浅浅分析
以上只是进行了粗略的统计，在程序运行中难免有所疏漏，因此仅供参考。另外，作者统计时也有可能存在同名的情况重复统计，这里也并未作区分。那么，我们1个月后，泰国曼谷见!
2024-07-11 11:12:37
1620
1
原创 20个你必须知道的Linux小命令
Linux系统强大的命令行工具让我们可以高效地管理和监控系统。本文将介绍20个分门别类的小命令，它们的安装方式和使用技巧，希望能提升你的工作效率。简介： 是一个交互式的进程查看器，比 更友好且功能更强大。特点和优势：安装：使用：2. nvitop简介：用于监控NVIDIA GPU使用情况。特点和优势：安装：使用：3. bpytop简介：一个资源监控工具，显示CPU、内存、磁盘、网络和进程信息，比 更美观。特点和优势：安装：使用：4. duf简介：一个磁盘使用情况查看工具，比 更友好。
2024-06-26 20:43:28
730
原创 [超拟人语音合成] 科大讯飞API的Python实现
最近大模型开始漫延到了语音通话的领域了。我每天晚上回家的路上都会用手机和ChatGPT语音对话聊天，这不仅能够放松心情，而且还能够练习英语口语。很早的时候ChatGPT就释放了ASR和TTS的接口，试用了一下，英语能力还不错。”API，合成的语音不仅可以自然的发声，而且还经过了文本模型的润色，使得其更加口语化表达。于是，我和ChatGPT联手，又编写了如下的Python代码供大家使用。下面是完整的代码，直接复制粘贴就可以使用。但是想要中文的话，我个人还是建议使用科大讯飞的这个“关于其中的参数，可以参见《
2024-05-14 00:25:39
712
1
原创 【直观对比】RTX3090和RTX4090的计算能力的参数对比
随着大模型的火热，越来越多的人希望可以购买一个硬件进行大模型的推理，特别是在3090和4090显卡的对比上，需求比较大。目前已有的显卡对比，大多面向于和，如图所示。但是，对于消费级的显卡的计算能力的参数对比还比较少，更多的是对比游戏或者跑分的。由于工作需要，特地辗转了多方网站，整理了3090和4090的性能参数对比图，附带A100的参数用于衔接。从表中可以看出，在目前最常用的FP16上，4090和A100是一样的。也就是说，如果只是部署一个7B的模型，并且开了FP16，那么两者的推理速度应该是大致相同的。
2024-05-11 15:24:16
8680
原创 再议大模型微调之Zero策略
说到Deepspeed和Zero，相信大家对着一幅图一点都不陌生，被各个帖子广为传颂，用于介绍Zero-1/2/3之间的不同，非常形象直观，如果还想深入了解，参见《deepspeed官方介绍》（看一下，2021年Deepspeed就有这工具了，现在反而成了训练大模型的流行工具）。
2024-05-07 21:00:19
1174
原创 一文掌握大模型数据准备、模型微调、部署使用全流程
距离ChatGPT已经发布1年半了，距离我们训练出自己的大模型也已经1周年了。目前仍然有很多同学在咨询如何训练自己的大模型。这个东西和男/女朋友一样。当你不认识TA，距离TA很远，不敢接触TA的时候，TA就是很神秘，也很难接触。但是一旦当你愈发了解TA的时候，你就知道其实上手也很容易。之前我已经撰写了一个简单的训练大模型的代码，用于阐述大模型训练其实和原来的训练没什么两样。但是随着大模型深入到了每一个研究者的
2024-04-27 22:52:25
12009
原创 使用vllm部署自己的大模型
使用vllm能够部署一个非常方便使用的大模型的后端，供webui前端使用，它不仅能够加速模型的推理过程，包括支持fast-attn库，而且还具有很友好的openai风格的api调用功能。
2024-04-26 17:38:58
6416
原创 部署一个自己的GPT客户端[以ChatGPT-Next-Web为例]
当我们有一个openai的key又想通过客户端进行访问对话功能的时候，chatGPT-next-web是一个选项（仅限是一个选项，也有更好的方案）。
2024-04-26 17:03:02
1638
1
原创 在 Slurm 上运行 Jupyter
现在的大模型训练越来越深入每个组了，大规模集群系统也应用的愈发广泛。一般的slurm系统提交作业分为2种，一种是srun，这种所见即所得的申请方式一般适用于短期的调试使用，大概一般允许的时间从几个小时到1天左右，很多集群分组都会限制运行时长。而另一种sbatch，则是批量提交作业，当srun调试程序能够成功运行的时候，就可以使用sbatch提交。如何使用slurm可以参考之前写的《》以及《那么有没有一种方式可以以sbatch提交作业，但是又能有srun的交互式体验呢？
2024-04-23 13:08:48
1256
原创 查询slurm集群各个节点的运行情况
slurm系统是一个集群，它原生的使用方式可以参考《有时候我们想知道我们能申请哪些节点，以及各个节点的使用情况。原生的指令大概有这两个，一个是使用squeue的方式列举出当前的工作列表。而另一个则是sinfo。这两个命令给出的内容十分有限。即使借鉴一些参数让给出的参数多一些，也最多能像教程里给出的那样。如果我们想要下面这样清楚的显示整个集群的使用情况，该怎么操作呢？
2024-01-05 09:51:07
1490
原创 Dependency Dialogue Acts — Annotation Scheme and Case Study [论文解读]
在本文中，我们介绍了依存对话行为(Dependency Dialog Act, DDA)，这是一个新颖的框架，旨在捕捉多方对话中说话者意图的结构。DDA结合并适应了现有对话标注框架的特点，并强调了对话的多关系响应结构，除了对话行为和修辞关系。它表示了多方多线程对话中的功能性、话语性和响应结构。DDA与现有的对话标注框架（如SWBD-DAMSL和ISO24617-2标准）相比有几个关键特点。首先，DDA优先考虑对话单元的关系结构和对话上下文，将对话行为和修辞关系都标注为特定话语的响应关系。
2024-01-04 20:30:08
463
原创 【年终总结】2024，三十而立！
2023年是一个非常激荡的一年。在这一年里，大家都在找新的节奏和方向，我也还在不断学习过程中。严格意义上，今年算是一个转型时期吧，人生还早，世界还没有探索完整，如果2024年，我仍然无法安定下来，那我希望，三十岁应该立着的旗杆，将会插在我探索世界的船上，与我一同前往，那些未知的区域。你问我害不害怕，我当然害怕。但是，人生又何尝不是一个更长的旅行呢？我们没有机会拒绝，也无法拒绝。
2023-12-31 00:13:42
995
原创 使用FastChat部署Baichuan2
近来，大型语言模型的市场需求呈现出蓬勃发展的态势。然而，仅仅掌握模型的数据准备和训练是不够的，模型的部署方法也变得至关重要。在这篇文章中，我们将以Baichuan2为例，利用FastChat进行模型部署的实战操作。
2023-09-24 15:13:58
1785
原创 手把手教你微调GPT-3.5 Turbo[8.22新特性]
3天前，OpenAI公布了一个新特性，那就是宣布用户可以自定义微调GPT-3.5 Turbo了。这意味着什么呢？这就意味着很多任务都可以先拿GPT-3.5 Turbo进行一个微调作为基准系统了。但是，需要注意的是，这里能够微调GPT-3.5 Turbo应该和之前能够微调GPT-3使用的是相似的技术，也就是参数高效的微调，不然每个用户光保存模型大小，即使是传言中的10B左右的模型，也是很难做到的。那么什么场景比较适合它呢？
2023-08-26 00:00:18
1496
原创 EM Pre-training for Multi-party Dialogue Response Generation [论文解读]
对话回应生成要求代理根据当前的对话历史生成回应，这方面双方对话已经有了很多研究，但同时也给多方对话留下了很大的空白。与双方对话不同的是，在多方场景中，在生成回应之前需要指定回应话语的收信人。由于存在大量的双方对话数据，已经提出了各种用于双方对话回应生成的预训练语言模型。然而，由于多方对话数据集中缺乏注释的收信人标签，很难将它们用于为多方对话预训练回应生成模型。为了克服这个障碍，我们提出了一种期望最大化（EM）方法，通过迭代执行期望步骤生成收信人标签，并进行最大化步骤来优化回应生成模型。
2023-08-24 14:52:08
200
原创 NaturalConv: A Chinese Dialogue Dataset Towards Multi-turn Topic-driven Conversation [论文解读]
在这篇论文中，我们提出了一个中文多轮主题驱动对话数据集——NaturalConv，参与者可以自由聊天，只要话题中的任何一个元素被提及且话题转换平滑。我们的语料库包含来自六个领域的19.9K个对话和400K个话语，平均每轮对话有20.1个话语。这些对话包含了对相关话题的深入讨论，或者多个话题之间的自然过渡。我们认为这两种方式在人类对话中都是正常的。为了促进对该语料库的研究，我们提供了几个基准模型的结果。比较结果显示，在这个数据集上，通过引入背景知识/话题，我们目前的模型无法提供显著的改进。
2023-08-22 22:30:19
391
原创 RPTCS: A Reinforced Persona-aware Topic-guiding Conversational System [论文解读]
虽然关于开放领域对话系统的研究已经很多，但大部分缺乏控制对话中概念转换的机制。对于从随意闲聊切换到任务导向对话等活动，一个具备管理对话中概念流程能力的代理人可能会很有帮助。如果在进行概念转换时考虑到用户的个性，用户会发现对话更加有趣和吸引人，并且更容易接受这种转换。针对个性感知的概念转换，我们提出了一种强化个性感知主题引导对话系统（RPTCS）。由于缺乏个性感知主题转换数据集，我们提出了一种新颖的对话数据集创建机制，其中对话代理人根据说话者的个性和对话的上下文引导话语漂移到一组目标概念。
2023-08-22 15:46:32
102
原创 香港中文大学（深圳）李海洲/王本友教授招收大模型方向的博士生（2023Fall/2024Spring&Fall），研究助理和博后
香港中文大学（深圳）是一所经国家教育部批准，传承香港中文大学的办学理念和学术体系的大学。目前，来自世界各地的8000多名优秀学子正在港中大（深圳）求学。经过九年的发展，大学学科建设已逐步完善，已面向全球招聘引进了400 余名国际知名优秀学者和研究人员，其中包括诺贝尔奖得主 5名，图灵奖得主 2 名，菲尔兹奖 1 名，各国院士近 30 名（其中全职 10名），国家级特聘专家近 60 名，ACM/IEEE 等协会会士近 40名。目前引进的教师 100%具有在国际一流高校执教或研究工作经验。
2023-07-17 19:40:15
1460
原创 Flask or FastAPI? Python服务端初体验
最近由于工作需要，又去了解了一下简单的python服务搭建的相关工作，主要是为了自己开发的模型或者工具给同组的人使用。之前介绍的针对于数据科学研究比较友好的一个可以展示的前端框架Streamlit可以说是一个利器。不过，随着ChatGPT的流行，基于chat的服务越来越多了起来，streamlit有一个chat衍生物，但是它能提供的只是一个简单的聊天功能，并不能具有更高级显示，例如支持markdown和流式输出等。因此，更加适合大模型前端的可能是更好的选择。
2023-05-28 21:48:16
2781
原创 大规模语言模型微调技术——Instruction和Question的区别和联系
在ChatGPT的时代，每个人都能够轻松使用这一强大的语言模型。这一切的实现速度比我之前所想象的要快得多。这得益于大规模语言模型微调技术，其实并没有引入太多新颖的元素。特别是有了ChatGPT作为引路人，许多事情变得更加容易和简单。尤其是借助LLaMA开源项目为基础，许多模型都是以LLaMA作为基座模型，并通过微调特定的指令数据集来实现与ChatGPT的对齐。
2023-05-18 16:32:24
4518
原创 关于人工智能的25部电影[休闲工作两不误]
希望大家在五一期间都能过的开心愉快，特地整理了25部关于人工智能的电影用于休闲时候观看。一方面能够享受科幻电影带来的放松，另一方面，也许未来的人工智能的研究和发展就会受到这些电影的启发。下面是按照剧情中人工智能发展的阶段进行的划分，需要注意的是，剧情中可能存在多个层次的人工智能并存的局面。
2023-05-03 18:32:46
1929
原创 自己再造一个大规模预训练语言模型？可以的
自ChatGPT发布至今已近半年，一路走来，我们可以清楚地看到的一个趋势是，到了下半年，每位研究者都会拥有一个类似ChatGPT的模型。这种现象与当年BERT推出后，各种BERT变体层出不穷的情况颇为相似。实际上，我认为，这次ChatGPT的浪潮依然是一次技术迭代更新，不断推动我们迈向最终的AI目标。而之所以如此轰动，则是因为OpenAI只做了一个每个人都可以访问的网页，让大众体会到了最先进的科技水平。那么，我们能否自己再造一个大规模预训练语言模型呢？回答是肯定的。
2023-04-08 00:46:29
990
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人