英伟达开源3400亿参数最大规模 LLM;Meta 将把用户数据用于 AI 训练 | AI 头条

1b38487e8d3742bb197623704f64f4f3.gif

整理 | 王轶群

出品 | AI 科技大本营(ID:rgznai100)

f7634488b2db239e8e7184a63a976280.png

一分钟速览新闻点!

  • 英伟达开源规模最大的 LLM Nemotron-4 340B

  • OpenAI 对或将踢掉董事会变成营利性公司做出回应

  • Meta 更新隐私政策,从月底起将把用户数据用于训练 AI

  • Meta 被爆将一次性裁掉50多位副总裁

  • 苹果文生图应用新特性:仅产卡通图像,元数据由 AI 智能标注

  • 苹果:不会根据用户的私人数据或用户互动来训练模型

  • 苹果和 Meta 或因未能遵守数字市场法案面临被欧盟指控

  • DeepMind 最新研究提出用混合架构的方法解决 Transformer 模型的推理缺陷

  • Tempus AI 在纳斯达克首次亮相,市值约为 66 亿美元

  • Sakana AI 即将获得新一轮1亿美元融资,估值达10亿美元

d594ba431e9ad4e8a5f5eca267ed1883.png

全球 AI 要闻

英伟达开源规模最大的 LLM Nemotron-4 340B

英伟达于当地时间6月14日开源Nemotron-4 340B(3400亿参数)系列模型。据英伟达介绍,开发人员可使用该系列模型生成合成数据,用于训练大型语言模型(LLM),用于医疗保健、金融、制造、零售和其他行业的商业应用。

Nemotron-4 340B包括基础模型Base、指令模型Instruct和奖励模型Reward。英伟达使用了9万亿个token(文本单位)进行训练。Nemotron-4 340B-Base在常识推理任务,如ARC-c、MMLU和BBH基准测试中,可以和Llama-3 70B、Mixtral 8x22B和Qwen-2 72B模型媲美。

Nemotron-4 340B 现已可从Hugging Face下载。开发人员很快就能在ai.nvidia.com上访问这些模型,它们将被打包为NVIDIA NIM微服务,并带有可在任何地方部署的标准应用程序编程接口。

官网链接:

https://research.nvidia.com/publication/2024-06_nemotron-4-340b

Hugging Face:

https://huggingface.co/collections/nvidia/nemotron-4-340b-666b7ebaf1b3867caf2f1911

OpenAI 对或将踢掉董事会变成营利性公司做出回应

当地时间6月14日,知情人士消息称,OpenAI CEO Sam Altman 告诉一些股东,公司正在考虑改变其治理结构,非盈利董事会将不控制营利性业务。董事会考虑的一个方案是转变为营利性公益公司,类似竞争对手 Anthropic 和 xAI 使用的模式。此举将最终为 OpenAI 进行 IPO 打开大门。目前 OpenAI 的估值为 860 亿美元。对于这一报道,当地时间6月15日,OpenAI 在回复路透社有关该报道的询问时表示,“我们仍然专注于打造造福于每个人的人工智能。非营利组织是我们的核心使命,并将继续存在。”(The Information )

Meta 更新隐私政策,从月底起将把用户数据用于训练 AI

Meta 更新隐私政策,将从 6 月 26 日起使用用户在 Facebook、Instagram、Threads 或 WhatsApp 上的发帖和聊天数据来训练其生成式人工智能模型。即使用户未使用 Meta 服务,只要其他人发布了包含用户数据的内容,Meta 仍可收集这些数据。用户如不同意可选择退出,虽然 Meta 不保证完全同意,但会根据数据保护法审查请求。在美国或其他无数据隐私法国家,用户难以阻止 Meta 使用数据训练人工智能。Meta 表示不会使用私人对话数据,但公开社交媒体帖子可能被收集。用户可设置账号私密以降低风险,且欧盟和英国用户因严格的数据保护法律较容易选择退出。 

Meta 被爆将一次性裁掉50多位副总裁

当地时间 6 月 13 日,据三位知情人士透露,Meta 正考虑裁减数百名副总裁。

据一位知情人士透露,去年 Meta 的副总裁人数达到顶峰时约有 300 人。这一数字比前几年的 180 人有所增加。这位知情人士补充说,尽管去年在第二波大规模裁员潮来临之前,有几位副总裁离开了公司,但扎克伯格希望 Meta 的副总裁总数接近 250 人。副总裁职位分为五个级别。

据数据显示,经过多轮裁员后,截至 2024 年 3 月 31 日,Meta 在全球的员工总人数为 6.9 万人,减少了大约 22% 的员工数量。Meta CEO 扎克伯格曾表示:“更精简的组织将更快地执行其最高优先事项,人们的工作效率将会更高,他们的工作也会更加有趣和充实。”

“总体目标仍然是减少中高层管理者人数,增加底层员工的人数,”该人士表示。“现在又出现了中高层人数过多的情况。”(Business Insider)

苹果文生图应用新特性:仅产卡通图像,元数据由 AI 智能标注

苹果公司在其 2024 年全球开发者大会(WWDC)上透露,未来 iOS 系统将通过 AI 技术在生成的图片元数据中标注「AI 生成」,以提高信息透明度和帮助用户识别图像来源。同时,iOS 18 Beta 1 的更新代码中出现了用于标记人工智能生成图像的「取证」功能。苹果还推出了「Image Playground」功能,允许用户输入描述并生成个性化图像,该应用仅生成卡通化图像以避免错误信息传播风险。用户可在设备上直接生成预览图像,并在多个应用中查看和使用,同时可在 Image Playground 应用中进行编辑和分享。

苹果:不会根据用户的私人数据或用户互动来训练模型

苹果正在为 Apple Intelligence 使用自己制作的 AI 模型。苹果指出,它不会使用私人数据或用户交互来训练其模型,这与其他公司相比是独一无二的。相反,苹果同时使用授权材料和由该公司的 Applebot 网络爬虫抓取的公开在线数据。如果出版商不希望他们的数据被苹果获取,他们必须选择退出,这听起来类似于谷歌和OpenAI的政策。苹果还表示,它不会提供网上流传的社保和信用卡号码,也不会理会“脏话和其他低质量内容”。(The Verge)

苹果和 Meta 或因未能遵守数字市场法案面临被欧盟指控

布鲁塞尔当地时间6月14日消息, 据三位知情人士周五表示,欧盟很可能因未能遵守前不久刚刚生效的数字市场法案(DMA)而面临指控。欧盟的调查针对的是苹果的指导规则,监管机构称,苹果的指导规则施加了限制,阻碍应用程序开发商告知用户其应用商店之外的免费优惠,以及向应用程序开发商征收的新费用。

DMA 要求大型科技公司为较小的竞争对手开放竞争空间,并让人们更容易在社交媒体平台、互联网浏览器和应用商店等相互竞争的在线服务之间转换。

消息人士称,欧盟监管机构将在8月份暑假前发布类似反垄断指控的初步调查结果,首先受到指控的是苹果,其次是Meta。委员会和Meta拒绝置评。苹果引用了其 3 月份的声明,称其有信心其计划符合 DMA,并将继续与委员会进行建设性接触。(路透社)

DeepMind 最新研究提出用混合架构的方法解决 Transformer 模型的推理缺陷

DeepMind发表了一篇名为《当 Transformer 遇见神经算法推理机》的论文,提出用混合架构的方法解决Transformer模型的推理缺陷。将Transformer的NLU技能与基于GNN的神经算法推理器(NAR)的强大算法推理能力相结合,可以实现更加泛化、稳健、准确的LLM推理。

当 Transformer 执行算法形式的推理时,这种语言模型仍然很脆弱,因为计算必须精确且稳健。为了解决这一限制,该团队提出了一种新颖的方法,将 Transformer 的语言理解与基于图神经网络 (GNN) 的神经算法推理器 (NAR) 的稳健性相结合。当以图形形式指定时,此类 NAR 被证明是有效的算法任务通用求解器。为了使 Transformer 可以访问它们的嵌入,研究者提出了一种具有两阶段训练过程的混合架构,允许语言模型中的标记交叉关注来自 NAR 的节点嵌入。研究者在 CLRS-Text(CLRS-30 基准的基于文本的版本)上评估了得到的 TransNAR 模型,并证明了在算法推理方面比仅使用 Transformer 的模型有显著的提升,无论是在分布内还是分布外。

论文地址:

https://arxiv.org/abs/2406.09308

Tempus AI 在纳斯达克首次亮相,市值约为 66 亿美元

Tempus AI 是一家医疗诊断公司,利用人工智能解读医疗测试,帮助医生为患者提供更准确的治疗。该公司于6月14日纳斯达克股票市场首次亮相,股票代码为“TEM”,涨幅高达 15%。6月13日,Tempus AI 以每股 37 美元的价格发行了 1110 万股,处于其最初 35 至 37 美元的目标区间的上限。该公司以略高于 60 亿美元的隐含估值筹集了 4.1 亿美元。该公司早期的涨幅使估值高达 70 亿美元,但其首个交易日收盘上涨近 9%,市值约为 66.5 亿美元。

Tempus 认为,人工智能可以与患者的医生一起帮助指导疗法的选择和治疗决策。2023 年,该公司的总收入为 5.318 亿美元,净亏损为 2.141 亿美元。(CNBC)

Sakana AI 即将获得新一轮1亿美元融资,估值达10亿美元

据报道,日本生成式AI初创公司Sakana AI即将获得一笔新的重大投资,估值将达到约1800亿日元(约合83亿元人民币)。这使得该公司估值超过10亿美元,有望成为日本增长最快的“独角兽”企业。

Sakana AI的主要投资者包括对OpenAI等公司进行初期投资的风险投资家。他们计划在本月底之前向Sakana AI投资约200亿日元。

据三位直接了解情况的人士称,Sakana 由谷歌 DeepMind 的校友于2023年创立,正在由 New Enterprise Associates 和现有投资者 Lux Capital 和 Khosla Ventures 共同牵头的新一轮融资中筹集约1亿美元。据知情人士透露,这轮融资的估值约为 10 亿美元,但尚未产生收益。(The Information)

9d40f102bd79a7b1adef568d4342c11a.gif

由 CSDN 和 Boolan 联合主办的「2024 全球软件研发技术大会(SDCon)」将于 7 月 4 -5 日在北京威斯汀酒店举行。

由世界著名软件架构大师、云原生和微服务领域技术先驱 Chris Richardson 和 MIT 计算机与 AI 实验室(CSAIL)副主任,ACM Fellow Daniel Jackson 领衔,BAT、微软、字节跳动、小米等技术专家将齐聚一堂,共同探讨软件开发的最前沿趋势与技术实践。

90257ebf18d2fe7e0c7500743d148817.png

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值