复旦团队发布国内首个模型MOSS 类ChatGPT

已于 2023-05-08 00:22:35 修改
阅读量4.9k 收藏 4
点赞数 2
分类专栏： NLG 文章标签： 人工智能 自然语言处理 深度学习
于 2023-02-20 23:12:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ganxiwu9686/article/details/129133768
版权

复旦团队发布国内首个模型MOSS 类ChatGPT

首先看到这个标题，还有这个名字，我是正经（zhen jing）的 （bu shi

流浪地球？550W？不了解的可以把550W倒过来写，就懂了

看到新闻里的一些图片和例子 感觉还行 下面是给的一些事例，当然都给的是好的，这是肯定的

就像我们写论文一样，会找good case （bu shi

下面是一些比较通用的问题

在这里插入图片描述

在这里插入图片描述

同时它也具备生成列表和表格的一些能力

在这里插入图片描述

代码生成相关

在这里插入图片描述

关于伦理道德方面

在这里插入图片描述
在这里插入图片描述
但是还没实测过不能说好不好

看到内测链接的那一刻，我是兴奋的

结果打开只有下图：链接（https://moss.fastnlp.top/）

在这里插入图片描述

不过我还是很期待

希望国内的大公司大企业大实验室可以合作一起搞一个真正有用的东西

不要搞一些挣头筹的东西 具体可以Google的BARD 赔了夫人又折兵 市值亏损一千亿

看看百度三月份的的文心一言 期待一下
在这里插入图片描述

听说百度NLP组没日没夜赶进度 [手动旺柴]

还好我还没毕业 还好我也没去百度( •̀∀•́ )

在这里插入图片描述
躲过一波脱发的节奏

ChatGPT被玩疯了，开始放飞自我
更多有趣MRC文章见：利用逆向思维的机器阅读理解。
相关文献
情感支撑对话综述
Bi-directional Cognitive Thinking Network for Machine Reading Comprehension 论文阅读
证据推理网络。
Hybrid Curriculum Learning for Emotion Recognition in Conversation
BERT用于文本分类方法

彭伟_02
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
复旦开源首个「中国版ChatGPT」MOSS！全新插件系统，能上网，会鸡兔同笼.zip
04-23
复旦开源首个「中国版ChatGPT」MOSS！全新插件系统，能上网，会鸡兔同笼.zip
专访复旦大学MOSS系统负责人邱锡鹏：ChatGPT的革命性体现在大模型的“涌现能力”
04-13
ChatGPT展现出来的令人惊艳的对话理解与表达能力，让越来越多人意识到，人工智能已经迎来了全新的里程碑。并且有望作为一个至关重要的基座系统，以前所未有的速度渗透进各行各业，持续引爆未来世界的数字经济体系。 近日，复旦大学计算机科学技术学院教授、MOSS系统负责人邱锡鹏在接受21世纪经济报道记者专访时表示，ChatGPT的革命性体现在大模型的“涌现能力”上。在大模型训练过程中，出现了一些意外的、超乎预期的能力表现。据悉，在训练计算量大概在10的22次方之后，模型能力会完成从量变到质变的飞跃，呈现出惊人的爆发式增长。 “比如说你读两本书可能就背下来，但是当你读1万本的时候，你可能就理解了一些道理，当你读1亿本的时候，很可能融会贯通，从中掌握世界的规律。”邱锡鹏表示。但大模型具体是怎样在突破某个值后突然变得智能，仍然是个未解之谜。 不过，“涌现”的出现似乎也证明了一条路是正确的，即扩大模型规模，即可使其具有“智能”。在AI围棋打败人类棋手之时，Google Bert的参数规模为3亿；2020年后GPT-3横空出世，参数量级已经跨越到了1750亿。 涌现能力的背后，则进一步隐含着三个非常重要
GPT，GPT2，GPT3，ChatGPT梳理
03-28
GPT/GPT2/GPT3/ChatGPT梳理 近年来，OpenAI发布的GPT-3和ChatGPT模型相继破圈，很多行业开始担心AI会在不久的将来会淘汰难度不大的工作岗位。虽然从专业角度看，这些模型仍然存在不少问题需要很长时间才能攻克，但考虑到大型语言模型的天花板仍然是个谜，谁也不能保证未来它是否会革命性地改变人类生产力方式，而一旦成功，唯有实践家会取得先机，成为新的IT巨头。所以当下科技巨头纷纷追赶，体现出其较高的商业价值和技术价值。 本文将由浅入深地对GPT系列模型（包括GPT/GPT2/GPT3/InstructGPT/ChatGPT）进行梳理和总结，并不定期更新相关动态。 一、时间轴 2023年3月，GPT4已发布，该模型将引入多模态的能力； 2023年2月，Microsoft Bing浏览器引入ChatGPT；复旦大学发布Moss，一时访问过大，服务宕机；Meta发布GPT3竞品模型LLaMA，参数相比要少很多，但并未彻底开源； 2022年11月，OpenAI发布ChatGPT博客； 2020年5月，OpenAI发布GPT3； 2019年2月，OpenAI发布GP
ChatGPT革命！尝鲜者的喜与忧
04-06
做ChatGPT好比踢足球，踢足球都是盘带、射门，但是要做到梅西那么好也不容易。 　　常识 在人工智能领域，一个基础常识是，算法训练是一件没有办法弯道超车的事情。自2018年推出第一代生成式预训练模型GPT-1起，OpenAI用了近6年的时间沉淀出了当前的大语言模型。图源/hellorf 　　以ChatGPT为代表的人工智能内容生成技术能为人们做些什么?文案宣传、智能营销、智能风控、代码编写……近期，国内如雨后春笋般冒出的众多团队与公司，都试图用自己的途径回答问题。但ChatGPT真的这么简单吗? 　　“踢足球都是盘带、射门，但是要做到梅西那么好也不容易。”3月5日，中国科技部部长王志刚用踢足球比喻ChatGPT，直言“从这一点看，ChatGPT在技术进步上，特别是保证算法的实时性与算法质量的有效性上，非常难”。 　　复旦MOSS团队：路还很长 　　前不久，复旦大学计算机科学技术学院邱锡鹏团队发布类ChatGPT模型MOSS。一经发布，MOSS就“火”了。2月20日发布当日，MOSS就收到大量内测申请、采访、投资、合作邀约——因为ChatGPT的火热，公众对于这项原本局限于NLP(自然
复旦MOSS升级版开源上线；马斯克启动TruthGPT
04-24
本周大事Top 10： 1、复旦MOSS升级版开源上线 2、马斯克要开发聊天机器人TruthGPT 3、海康威视已训练出百亿参数CV大模型 4、微软为ChatGPT自研AI芯片 5、Stability AI发布开源大语言模型 6、谷歌大脑与DeepMind合体，对抗OpenAI 7、英伟达发布文字转视频模型研究成果 8、钉钉、文心一言、WPS等接入大模型 9、火山引擎推出大模型训练平台及自研DPU 10、蓝标停用文案外包，全面拥抱AIGC 本周AIGC完整大事：共34条 1、微软为ChatGPT自研AI芯片 4月19日，据外媒The Information报道，微软准备推出人工智能芯片，用于为大模型提供动力。据两位知情人士透露，早在2019年，微软就一直在开发这种内部代号为雅典娜（Athena）的芯片。消息人士称，微软希望这款芯片的性能比目前从其他供应商购买的芯片更好，从而为其昂贵的人工智能研发节省时间和金钱。 2、亚马逊实时AI编程助手免费开放 4月19日，亚马逊云科技18日宣布，实时AI编程助手Amazon CodeWhisperer正式可用，同时推出的还有供所有开发人员免费使用的
复旦MOSS大模型开源了「中国版ChatGPT」，Github和Hugging Face同时上线
肥晨开发的学习之路
04-24 3419
最近，ChatGPT非常火，从ChatGPT3到ChatGPT4，都非常火。无论是否为互联网行业的，多少都听到过关于ChatGPT的消息。虽然百度、阿里等互联网巨头都已经宣布将会推出相关的类ChatGPT产品。但目前还未有成型的产品上线。而昨日，复旦团队发布国内首个类ChatGPT模型MOSS引发广泛关注。
复旦大学邱锡鹏团队发布类 ChatGPT 模型MOSS
Python数据挖掘
02-21 3727
MOSS 的主要作者共有两位：复旦大学教授邱锡鹏和他的博士生孙天祥。此外还有多位成员对项目有所贡献。邱锡鹏，复旦大学计算机科学技术学院教授，博士生导师。国家优青获得者，于复旦大学获得理学学士和博士学位。
【NLP】复旦开源MOSS，首个「中国版ChatGPT」 附详细下载+安装+部署教程
fengdu78的博客
04-24 8497
来源|新智元 微信号：AI-era复旦NLP团队首次上线MOSS两个月后，他们遵照承诺，真的把MOSS开源了。同时，MOSS也成为了国内首个搭载插件系统的开源对话语言模型。国内首个类ChatGPT模型MOSS，开源了！这次，复旦团队的模型不仅更加成熟，而且还增加了「搜索引擎、计算器、解方程、文生图」等插件功能，既可在线体验，也支持本地部署——在FP16精度下单张A100/A800或两张309...
复旦发布国内首个类ChatGPT模型MOSS，和《流浪地球》有关？
xuxian的博客
02-21 7945
据介绍，MOSS可执行对话生成、编程、事实问答等一系列任务，打通了让生成式语言模型理解人类意图并具有对话能力的全部技术路径，将在后期进行开源。由于ChatGPT并未开源，其技术方案细节也未公开，ChatGPT是一套复杂的组合系统，无法由单一的生成式语言模型实现。
复旦“首发”国产版 ChatGPT！名为 MOSS 惹群嘲，回应称：还非常不成熟
热门推荐
CSDN资讯
02-21 1万+
整理 | 郑丽媛出品 | CSDN（ID：CSDNnews）身处科技圈的各位，最近应该都被 ChatGPT “刷屏”了吧。不仅国外微软、谷歌、Meta 等科技巨头争相布局，国内百度、科大讯飞、华为、阿里巴巴、360、京东等大厂也集体“上车”：百度官宣最快 3 月份发布国产版 ChatGPT“文心一言”，科大讯飞称有信心百天内实现应用落地……结果万万没想到，国内各大厂准备地如火如荼，但谁也没抢到这个...
Perfectly Clear Workbench for mac/win：让图像清晰不再是难题
2401_82627223的博客
04-27 413
Perfectly Clear Workbench是一款功能强大、操作简便的图像清晰处理软件。它不仅能够满足专业摄影师的高标准需求，也能让业余爱好者轻松提升作品质量。
【炼金术士】BatchSize对网络训练的影响
kabuto_hui的博客
04-25 1394
首先我们设置一个非常小的初始学习率，比如1e-5，然后在每个batch之后都更新网络，同时增加学习率，统计每个batch计算出的loss。最后我们可以描绘出学习的变化曲线和loss的变化曲线，从中就能够发现最好的学习率。针对BatchSize越大，网络训练速度快这条很好理解，在相同的单位时间内，一次训练的数据越多，网络训练的速度也就越快。初始的学习率肯定是有一个最优值的，过大则导致模型不收敛，过小则导致模型收敛特别慢或者无法学习，下图展示了不同大小的学习率下模型收敛情况的可能性。
神经网络中多层卷积的作用
金石软件
04-27 448
在神经网络中采用多层卷积的目的是为了逐步提取和组合图像的抽象特征，从而更有效地学习数据的表示并执行复杂的任务。不同层的卷积具有不同的作用，从较低层次的特征（例如边缘、纹理）到较高层次的抽象特征（例如物体部件、整体物体）逐渐提取。通过多层卷积，网络能够从原始图像中逐步学习并提取更加抽象和语义丰富的特征，从而实现对输入数据更准确和有效的建模和处理。
铝型材表面瑕疵识别-Are you OK?队-1-解决方案
gangyikeji的博客
04-28 1115
本次大赛分为初赛、复赛和决赛三个阶段（9月17日-11月22日），初赛是分类任务，复赛是检测任务，决赛是现场答辩。经过2个多月的算法角逐和决赛答辩，我们团队（Are you OK?这里着重介绍下复赛的答辩方案，对初赛感兴趣的同学可以参照我们的开源代码。[初赛开源代码1](https://github.com/herbert-chen/tianchi_lvcai)[初赛开源代码2](https://github.com/OdingdongO/pytorch_classification)
linux 编译opencv遇到问题
123
04-26 718
linux 编译opencv遇到问题
TR6 - Transformer实战 单词预测
Loser
04-26 1378
实验做的还是比较简单的，Transformer模型中的编码器直接使用的是pytorch框架预定义好的模块，但是对于理解整个模型的训练过程还是非常有帮助的。在实验的过程中，发现torchtext模块也已经不在维护了，和计算机视觉不同，自然语言处理的模型的输入格式灵活多变，经常需要自己写代码调整，比如上面的data_process函数。
Llama 3 安装使用方法
思跃喵的博客
04-28 872
llama3是一种自回归语言模型，采用了transformer架构，目前开源了8b和70b参数的预训练和指令微调模型
基于自注意力机制的长短期记忆神经网络(LSTM-SelfAttention)的回归预测
沅的博客
04-27 1092
它结合了LSTM和自注意力机制的优势，可以有效地处理时序数据中的长期依赖关系和关键部分。这个模型结合了两个不同的结构，即长短期记忆网络（LSTM）和自注意力机制，从而在时序数据预测中发挥各自的优势。LSTM-SelfAttention模型的优势在于它既能捕捉到时序数据中的长期依赖关系（通过LSTM），又能关注输入数据中的关键部分（通过自注意力机制）。LSTM在时序数据预测中表现出色，因为它可以捕捉到数据中的长期依赖关系。自注意力层：在LSTM层之后，引入自注意力机制，以关注时序数据中的不同部分。
我与生成式AI的斗争
最新发布
蒲松龄
04-30 539
总之，即使生成的是已经存在的事物，生成式AI仍然可以在提高效率、个性化定制、数据增强、艺术再创作、模拟和预测、辅助研究和教育以及保护和传承等方面发挥重要作用。随着技术的不断发展和完善，生成式AI将在未来发挥更加重要的作用，为人类社会的进步和发展做出更大的贡献。总之，生成式AI的价值并不仅仅在于它能够生成新的内容，更在于它能够为我们提供新的视角、新的方法和新的可能性。：在科学研究中，生成式AI可以模拟复杂的现象和过程，生成大量的模拟数据，帮助科学家发现新的规律和现象。
MOSS大模型的能力
02-27
MOSS是复旦大学自然语言处理实验室发布的国内第一个对话式大型语言模型[^1]。MOSS具有以下能力： 1. 支持英双语和多种插件：MOSS可以处理中英文对话，并且支持多种插件，可以扩展其功能。 2. 大规模参数：MOSS的模型参数量达到了160亿，这使得它具备了强大的语言理解和生成能力。 3. 高性能运行：在FP16精度下，MOSS可以在单张A100/A800或两张3090显卡上运行。在INT4/8精度下，它可以在单张3090显卡上运行。 4. 多轮对话能力：MOSS经过对话指令微调、插件增强学习和人类偏好训练，具备了多轮对话的能力，并可以使用多种插件。 5. 最大对话长度：MOSS的最大对话长度为2048（输入+输出），这使得它可以处理较长的对话场景。 然而，需要注意的是，由于MOSS模型参数量较小和自回归生成范式的限制，MOSS仍然可能生成包含事实性错误的误导性回复或包含偏见/歧视的有害内容。因此，在使用MOSS生成的内容时，需要谨慎鉴别和使用，并且不要将有害内容传播到互联网上。如果产生不良后果，由传播者自负。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

彭伟_02

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值