- 博客(6)
- 收藏
- 关注
RSS订阅原创 字节音乐大模型炸场！Seed-Music发布，支持一键生成高质量歌曲、片段编辑等
采用符号音乐 token 作为中间表征，与音频 token 基于的管道类似，但有一些区别，如 lead sheet tokenizer 将信息编码为 token，语言模型学习预测 lead sheet token 序列，lead sheet token 是可解释的，并且允许在训练和推理中注入人类知识，但扩散模型从 lead sheet token 预测声码器 latent 更具挑战性，需要更大的模型规模。回顾过往，新技术往往能够激发新创新。在未来，或许会由此涌现创作音乐、欣赏音乐、分享音乐的新场景。
2024-09-20 12:15:07
1119
原创 强化学习成为OpenAI o1灵魂，速来学习下Self-play增强大模型
AlphaGo 就是采用自我博弈策略的典型代表，通过自己与自己对战，持续掌握和积累围棋知识和比赛经验，最终击败顶级人类棋手。其中 SPIN 通过让模型与自身的历史版本对抗来迭代改进，无需额外的人工标注数据即可通过自我博弈提升性能，从而充分利用高质量数据和合成数据。最近发布的 OpenAI 发布的 o1 模型再次震撼了科技圈，o1 能像人类一样「思考」复杂问题，拥有真正的通用推理能力。这些突破性的进展是如何达成的呢？随着大语言模型的发展，自我博弈因其能够充分利用计算资源和合成数据成为提升模型性能的方法之一。
2024-09-19 11:42:38
517
原创 OpenAI押注的「1X」训出专用世界模型，首证机器人Scaling Law
众所周知，家庭环境中遇到的日常物体或者饲养的宠物很难模拟，因此机器人使用的模拟环境往往在视觉上很单调，缺乏现实世界用例的多样性。世界模型解决了构建通用机器人时一个非常实际、但经常被忽视的挑战，即评估。1X 工程师 Daniel Ho 表示这是机器人世界模型的初步进展，模型可以理解接触到的物理世界并生成高保真视频，使机器人可以在自己的神经空间中执行规划、评估和模拟操作。该研究训练的世界模型能够根据不同的动作指令产生不同的结果，下面展示了在四种不同轨迹条件下的世界模型生成的效果，每种轨迹都从相同的初始帧开始。
2024-09-19 11:41:00
1116
原创 保守派中间派原生派，谁将主导搜索引擎未来三十年？
传统搜索引擎倾向于 CTR 导向（ Click Through Rate ，点击率），这直接关系到广告收入，所以，返回内容往往倾向点击率高的网页（很多时候是一些 UGC 网站，比如论坛、知识问答网站，或者「内容农场站」和「 AI 内容站」），而不是最准确的答案。AI 搜索会让搜索引擎从信息检索工具，进化成帮助用户完成知识探索的「知识引擎」，并最终，凭借不可逆的历史趋势，取代传统搜索引擎，成为用户检索信息、获取知识的首选。最重要的，几乎每句话都会注明出处，就像学术论文务必注明引文来源，引注数量也颇为可观。
2024-09-19 11:38:55
882
原创 英伟达市值一周蒸发4060亿美元，AI时代「卖铲人」怎么就不香了？
对于这家价值 2.5 万亿美元的巨头来说，这些跌幅也向投资者展示了一个更为紧迫的问题：它的波动性现在远远超过了谷歌、苹果、微软、Meta 等美股六巨头，甚至让上蹿下跳的比特币，都显得平静了许多。英伟达上周的「成绩单」，证实了市场的乐观预期。多年来，英伟达在 GPU 和 CUDA 上的投入让它构建了一个难以撼动的生态系统，宛如一道深不可测的护城河，竞争对手想追赶几乎是不可能的事。大约是微软公司的四倍，是比特币的两倍，甚至高于像唐纳德・特朗普的媒体公司和埃隆・马斯克的特斯拉公司这样的热门股票。
2024-09-08 21:38:57
1295
原创 这就翻车了？Reflection 70B遭质疑基模为Llama 3，作者：重新训练
在被质疑 Reflection 70B 的基础模型可能是 Llama 3 而非 Llama 3.1 70B 时，Matt Shumer 坐不住了，现身进行了澄清，并表示是。它的底层模型建立在 Meta Llama 3.1 70B Instruct 上，并使用原始的 Llama chat 格式，确保了与现有工具和 pipeline 的兼容性。此外，Reddit 上 LocalLLaMA 社区的一个帖子比较了 Reflection 70B 与Llama 3.1、Llama 3 权重的差异，结果显示，
2024-09-08 21:31:52
738
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人