深度解析大模型背后的知识储存与提取：背诵不等于理解/MongoDB发布生成式AI新功能，大幅提高开发者工作效率和体验｜魔法半周报

 我有魔法✨为你劈开信息大海❗

高效获取AIGC的热门事件🔥，更新AIGC的最新动态，生成相应的魔法简报，节省阅读时间👻

---

🔥资讯预览

• Mistral AI发布开源语言模型Mistral 7B，性能超越规模更大的Llama 2 13B模型

• Meta Connect发布Quest 3：性能大幅提升，视野扩大，瞳距可调

• 阿里云联合中国邮政推出基于AIGC技术的亚运邮票，为杭州亚运会增添智能化体验

• 深度解析大模型背后的知识储存与提取：背诵不等于理解

• Cloudflare Workers推出WebGPU支持，加速AI和图形运算

• MongoDB发布生成式AI新功能，大幅提高开发者工作效率和体验

• 大模型人才选择比培养更重要，CEO杨军强调经验与实践的关键

🪄魔法简报

Mistral AI发布开源语言模型Mistral 7B，性能超越规模更大的Llama 2 13B模型

Mistral AI推出了开源语言模型Mistral 7B，该模型具有73亿参数，但在各项基准测试中表现优于规模更大的Llama 2 13B模型。Mistral 7B在常识推理、世界知识、阅读理解、数学和编码等多个基准测试中表现出色，并且在英文任务中表现良好。

它还具有处理8,000个token的能力，采用了群组查询注意力（GQA）和滑动窗口注意力（SWA）等技术来提高推理速度和处理长序列的效率。Mistral 7B每层注意前4,096个隐藏状态，能够以线性计算成本提高处理速度，特别是在序列长度为16,000时，速度提高了2倍。此外，Mistral 7B还经过了微调，并在MT-Bench测试中表现良好。

用户可以在AWS、Azure和GCP等云平台上下载并使用Mistral 7B，并且支持在HuggingFace平台上使用。由于Mistral 7B采用了Apache 2.0授权，用户几乎可以自由使用模型，并且根据需求调整模型大小和成本。Mistral AI认为，开源解决方案将超越专有解决方案，并且只有开源模型才能对抗审查和偏见，并交给开发者完全的控制能力。

Meta Connect发布Quest 3：性能大幅提升，视野扩大，瞳距可调

近期，Meta Connect 2023大会上发布了最新的VR头显Quest 3。该头显搭载了高通骁龙XR2 Gen2芯片，性能提升明显，尤其在MR方面更加出色。Quest 3的分辨率提升了近30%，视野也扩大了约15%。

此外，新一代的Quest 3还加入了瞳距调节功能，用户可以通过滚轮进行调节。Quest 3还强调了Video See Through（视频融合）式的混合现实体验，让虚拟与现实更加融合。此外，Meta还推出了新一代的Ray-Ban Stories智能眼镜，搭载了高通骁龙AR1 Gen1芯片，用户可以通过眼镜进行音乐播放和直播等功能。Quest 3起售价为499美元，预计将于10月10日开始发货。Meta希望通过Quest 3成为混合现实头盔领域的领导者。

最后，Meta还发布了全能人工智能助手Meta AI和AI图像生成器应用Emu。然而，苹果的Vision Pro头显的市场表现仍然不尽如人意，产能预期低于市场预期。在XR市场低迷的情况下，Quest 3和Vision Pro都备受关注。

阿里云联合中国邮政推出基于AIGC技术的亚运邮票，为杭州亚运会增添智能化体验 

杭州亚运会官方合作伙伴阿里云联合中国邮政推出了一套以AIGC技术为基础的亚运邮票。这套邮票共有6枚，分别代表了杭州的6个地标建筑，其中包括杭州奥体中心体育场、云栖小镇、杭州世纪中心、杭州西站、钱江新城和西溪国家湿地公园。

这是一次科技与文化的结合，将吸引更多年轻人参与邮票的设计和制作，同时也为邮票收藏家和旅游爱好者带来了珍贵的收藏品。阿里云的AIGC技术在图像生成方面展现出了强大的能力，这得益于其自研的基于知识表示重组的图像生成大模型Composer。

这套亚运邮票代表了杭州的现在和未来，承载着杭州的活力和机遇。随着邮票的传播，它们将成为一扇城市的大门，吸引世界各地的人们来探索这座美丽的城市。阿里云将继续引领大模型的发展趋势，推动创新，为人工智能的发展做出积极的贡献。

深度解析大模型背后的知识储存与提取：背诵不等于理解

背诵不等于理解，深度解析大模型背后的知识储存与提取。研究发现，自然语言模型的背诵并不等于理解，即使模型能完整记住所有数据，也可能无法通过微调提取这些知识，无法回答简单的问题。

大模型并不一定能通过无损压缩掌握或提取知识。通过改变预训练数据集的呈现方式，例如增加多样性和随机排列，可以显著提升模型的知识提取能力。预训练数据集的知识增强使知识被存在更早的位置，部分甚至直接存储在人名上。

预训练过程中对关键但少见的数据进行知识增强是必要的。总的来说，语言模型的工作原理取决于模型对数据的处理方式，通过精细设计训练数据和可控实验可以更好地理解模型的能力。

Cloudflare Workers推出WebGPU支持，加速AI和图形运算

Cloudflare Workers现在支持WebGPU以加速AI和图形运算。通过添加WebGPU支持，开发者能够利用GPU加速机器学习和图形渲染运算，提高应用程序的性能并增加可移植性。

Cloudflare在其无服务器计算服务Workers中添加了低级GPU编程接口WebGPU支持。这使得Workers能够利用GPU加速机器学习、2D/3D图形渲染以及其他通用GPU运算任务。

WebGPU与DirectX、OpenGL类似，提供了一个框架和方法，让开发者能够低级地直接操作GPU，创建2D/3D图形或进行通用运算。与过去提供2D/3D图形运算的高级JavaScript API WebGL不同，WebGPU更注重网页和跨平台环境，让开发者能够更好地控制GPU资源。

WebGPU还可以利用多线程进行渲染和运算工作，提高CPU/GPU的并行运算能力。WebGPU的可移植性更高，WGSL着色器语言的支持跨各GPU供应商，具有更好的标准化特性，开发者可以在不同的硬件和平台上执行相同的代码，还可以将WGSL着色器语言作为运算着色器执行通用运算。

通过统一且低级的WebGPU，开发者可以利用GPU的运算能力加速机器学习、物理模拟和数据处理等工作。这种并行运算能力和可移植性使WebGPU成为现代网络应用和游戏的有力开发工具。Cloudflare在其Workers上支持WebGPU，将GPU工作负载引入到其全球网络中。

Cloudflare发布了支持WebGPU的新版本Workers开源执行环境workerd，开发者现在可以在本地开发和执行WebGPU应用程序，并在Cloudflare正式发布之前进行测试并提供改进建议。

MongoDB发布生成式AI新功能，大幅提高开发者工作效率和体验

MongoDB最近发布了生成式AI新开发功能，旨在简化应用程序的创建和迁移过程。该功能已应用于MongoDB的多个开发工具，包括Compass、Atlas Charts、Relational Migrator和Documentation。

Compass现在具备了人工智能功能，用户可以使用自然语言进行复杂的数据查询和聚合操作，从而降低学习曲线和编写查询的难度。Atlas Charts也新增了自然语言支持，使开发者更容易将数据可视化呈现。

此外，MongoDB还开发了名为Relational Migrator的工具，通过人工智能技术帮助开发者迁移数据库，将现有的SQL查询和存储过程转换为MongoDB Query API语法，加快了项目迁移的速度。

另外，MongoDB还利用人工智能辅助用户浏览开发文档，智能聊天机器人能够以自然语言回答用户的问题并提供相关参考文章和代码示例。此外，MongoDB还开源了智能聊天机器人的相关代码和教育资料，供社区中的其他人使用。这些新功能的引入将大大提高开发者的工作效率和体验。

大模型人才选择比培养更重要，CEO杨军强调经验与实践的关键

在对话昆仑万维的访谈中，CEO杨军强调了大模型人才的重要性。他认为，在人工智能领域中，对人才的选择比培养更为重要。杨军指出，大模型的研发需要具备丰富的经验和实践，而这些经验和实践是通过多年积累和持续学习所得到的。

因此，他认为，拥有这种经验和实践背景的人才对于大模型的研发更具优势。与此同时，杨军也提到了人才培养的问题。他表示，人才培养是一个长期的过程，需要通过不断的学习和实践来提升自身的能力。然而，在当前的人工智能领域，时间非常宝贵，需要快速推动技术的发展。因此，选择已经具备相关经验和实践的人才更为重要，可以更快地推动大模型的研发和应用。

总之，对于大模型人才的选择比培养更重要。在人工智能领域中，大模型的研发需要具备丰富的经验和实践，而这些经验和实践是通过多年积累和持续学习所得到的。因此，选择那些已经具备相关经验和实践的人才，可以更快地推动大模型的研发和应用。

---

如果对AIGC感兴趣，请关注我们的微信公众号“我有魔法WYMF”，我们会定期分享AIGC最新资讯和经典论文精读分享，让我们一起交流学习！！