- 博客(30)
- 收藏
- 关注
RSS订阅原创 字节跳动大模型首次全员亮相：一口气9个，价格低99%，没有参数规模和榜单分数
终于摘下了自家大模型的神秘面纱。就在刚刚，旗下的火山引擎第一次正式亮相了：一口气直接祭出了9个成员。其中，大模型家族中最为核心的便是：豆包通用模型pro，窗口尺寸最大可达128K，全系列可精调。：豆包通用模型lite，有较快的响应速度。令人非常意外的是，作为大模型亮相的发布会，火山引擎与其他大模型厂商的“路数”截然不同——而且，更是成了让现场观众“哇声一片”的大亮点，和其它大模型相比：小于32K窗口尺寸：豆包通用模型pro，只要0.0008元/千tokens，比行业价格低99.3%
2024-05-16 10:58:34
807
原创 清华“太极”光芯片登上Science：首创分布式广度智能光计算架构，或成大模型训练推理算力支撑之一
而且，要实现大规模、高能效的光子计算，简单地扩大现有的光子神经网络芯片是不现实的，因为随着神经网络层数的增加，不可避免的模拟噪声会呈指数级扩大。与为深度计算堆叠一系列层的传统方法不同，Taichi 将计算资源分布到多个独立的集群中，为子任务分别组织集群，并最终合成这些子任务，从而完成复杂的高级任务。具体来说，光学衍射层的全连接特性比传统深度神经网络中的卷积层具有更大的可变形性，这意味着光学网络有可能用比电子系统更少的层数实现相同的变换。如何将光芯片的优势应用到更广泛的 AI 应用中，是一个需要探索的问题。
2024-04-15 15:29:50
661
原创 探索生成式AI的未来：Chat与Agent的较量与融合
Chat的优势在于其简单、易于实现和部署。它适用于提供快速响应和标准化服务的场景，如客户支持和常见问题解答。然而，Chat的局限性在于缺乏深度个性化和长期记忆，这限制了它在建立深度用户关系方面的潜力。Agent则提供了更为丰富和复杂的交互体验。它可以模拟真实人物的行为和情感，为用户提供更为沉浸式的体验。Agent的挑战在于其开发和维护的复杂性，以及对大量数据和计算资源的需求。随着时间的推移，将生成式人工智能无缝融入现有产品已经成为一种普遍的趋势。
2024-04-09 17:09:33
654
原创 克服忆阻器的问题解决大数据处理瓶颈
在这项研究中，首尔国立大学材料科学与工程系的教授Cheol Seong Hwang领导了一项突破性的研究，提出了一种名为“通用记忆电阻模块”的概念，该模块将计算和内存功能整合到一个统一的设备中。该设备基于电阻变化器技术，能够在低电阻（‘1’）和高电阻（‘0’）之间快速切换，并且在计算结束后保持状态，从而实现了计算和内存的融合。为了解决这些问题，研究团队还开发了一种能源高效的错误检测和校正设备，该设备能够及时检测并纠正在计算过程中出现的错误，从而降低了能源消耗和计算错误的概率。
2024-02-19 15:08:09
401
原创 两周爆卖 5 万台，创始人吕骋回应 Rabbit R1 到底是什么？
吕骋称，rabbit 现在正努力通过 AI 建立「一种直观的无应用体验」，大型 Large Language Models（如 ChatGPT）展示了通过 AI 理解自然语言的可能性，而他们的 Large Action Model 则「更进一步，它不仅仅是对人类输入生成文本的响应——它代表用户生成并执行动作，以帮助完成任务。与此同时，科技巨头也已经加入实验场。在他看来，硬件创业困难，AI 硬件领域是全新的，没有人能在第一次尝试中做到任何事情，为了降低风险，他在 Rabbit 的设计方面选择更加保守。
2024-01-29 16:16:45
963
原创 两周爆卖 5 万台，创始人吕骋回应 Rabbit R1 到底是什么？
今天是人机交互新时代的开始，」rabbit 创始人兼首席执行官吕骋说道，「我们已经到达一个我们的智能手机上有数百个应用程序，其复杂的用户体验设计使彼此之间无法通信的地步。在他看来，硬件创业困难，AI 硬件领域是全新的，没有人能在第一次尝试中做到任何事情，为了降低风险，他在 Rabbit 的设计方面选择更加保守。这也并不是说硬件就是完美的，「我们并不是说你应该抛弃你的手机，也没有妄想认为携带两个设备比一个更好」，只不过，当下这个阶段，吕骋觉得他们首先要解决的是软件体验，产品人体工学的问题优先度置后。
2024-01-26 17:02:35
790
原创 人工智能芯片设计相关架构/设计相关论文整理分享
技术手段方面AI市场的第一颗芯片包括现成的CPU，GPU，FPGA和DSP的各种组合。虽然新设计正在由诸如英特尔、谷歌、英伟达、高通，以及IBM等公司开发，但还不清楚哪家的方法会胜出。AI芯片该使用什么方法原理去实现，仍然众说纷纭，这是新技术的特点，探索阶段百花齐放，这也与深度学习等算法模型的研发并未成熟有关，即AI的基础理论方面仍然存在很大空白。这是指导芯片如何设计的基本前提。AI芯片也被称为AI加速器或计算卡，即专门用于处理人工智能应用中的大量计算任务的模块（其他非计算任务仍由CPU负责）。
2024-01-24 15:49:56
373
原创 这类芯片，终于爆火
根据Intel目前公布的资料，我们认为Lunar Lake将会使用Intel路线图上2024年的Foveros技术来实现其CPU、GPU和NPU的集成，CPU、GPU和NPU可以灵活地位于不同的tile中，从而方便地实现设计时候的可配置性－ 例如可以根据市场的需求去推出拥有不同NPU／CPU／GPU的版本，另外根据市场反馈在设计下一代芯片路线图的时候，可以更容易地去调整不同tile上面的配置，从而满足需求。PC在今天主要的定位有两种，分别是用于游戏的娱乐型PC和用于工作的专业型PC。
2024-01-16 17:41:16
986
原创 【热点资讯】硅光计算芯片，后摩尔时代人工智能算力基座
光计算研究始于20世纪60年代，但受到当时应用范围有限以及电子计算技术快速发展的影响，光计算处理器未能成功迈向商用。时过境迁，人工智能（AI）飞速发展，以ChatGPT为代表的大语言模型所展现的强大能力引发全球关注，紫东太初、悟道、混元、文心、通义、盘古、言犀等一大批千亿级乃至万亿级参数的国产大模型不断涌现，大有引发新一轮科技与产业变革之势。高性能大模型拥有庞大参数规模、要求海量数据高效处理和高速传输，即使是当前最先进的电子计算平台也开始出现计算、存储和传输的瓶颈。大模型的创新发展和迭代。
2024-01-16 17:37:25
469
原创 联想联合IDC发布首份《AI PC产业(中国)白皮书》 全速推进人工智能普惠
与此同时，AI应用生态的不断发展，将使AI原生应用获得快速增长。《白皮书》指出，AIPC产品拥有本地部署的大模型与个人本地知识库组合构成的个人的大模型，第一交互入口为个人智能体，可实现自然语言交互，AIPC不仅通过内嵌AI计算单元的方式提供混合AI算力，还可以依靠开放生态来满足不同场景的需求。随着技术发展、产品优化、生态发展，AIPC能够基于更丰富的AI应用生态提供通用场景下的个人AI助理服务，实现更加广泛的端边协同、跨设备互联，基于个人数据和使用历史，在边缘私域环境下的个人的大模型微调服务。
2024-01-15 13:51:00
859
原创 剧透2024年科技圈「大动作」，CES 2024开幕
CES国际消费类电子产品展览会，作为全球最盛大的科技盛会之一，不仅展示了最前沿的科技成果，更引领着未来科技的发展趋势。CES每年呈现许多创新技术和产品，推动全年的消费电子市场增长，吸引全球众多优秀的科技公司、行业专家、媒体和科技爱好者参加，是全球消费电子产品发展趋势的风向标。CES 2024展会将于2024年1月9日至12日在美国拉斯维加斯举行，预计将吸引超过13万名参展人员。届时，将有来自全球150多个国家的4000多家参展商参与，其中包括300多家世界500强企业。
2024-01-15 11:32:07
867
转载 “存算一体”是大模型AI芯片的破局关键？
在传统冯·诺依曼架构下，芯片在执行计算密集型任务时面临“存储墙”问题，这导致计算芯片的功耗和性能都受限于处理器和存储器之间的数据搬运，严重限制了AI芯片在计算规模、密度、效率等方面的提升。由于数据传输路径的优化，存算一体技术在提高传输效率的同时，节省了数据传输的损耗，带来更好的能效比、低功耗。现阶段各厂商开发的存算一体芯片均基于自行定义的编程接口，缺乏统一的编程接口，造成了存算一体软件生态的分散，不同厂商开发的上层软件无法互相通用，极大的影响了存算一体芯片的大规模使用。
2024-01-10 14:04:23
49
1
转载 第三代通用计算，大算力芯片”弯道超车“的历史时机
关于“弯道超车”，行业内很多人士对此嗤之以鼻，他们认为：做事情要脚踏实地，持之以恒，才有可能超越。但这两者并不矛盾：在已有的不断发展的领域，我们需要“数十年如一日”不断的努力，才有可能逐渐追赶上世界先进水平，才有可能从追赶到齐头并进甚至超越；比如航天科技领域。但在一些行业变革期，我们需要尽早布局，大干快上，从而形成领先优势；比如从燃油车向电动车发展的历史发展机遇。今天这篇文章，我们探讨一下，在大算力芯片领域“弯道超车”的机会。
2024-01-09 11:14:10
91
转载 2024年，人工智能芯片展望
随着芯片性能和软件生态的提升，以及各大科技公司对于Nvidia GPU一家独大地位的担忧态度，我们预计2024年对于AMD的GPU在人工智能市场将会是重要的一年，预计将会看到更多客户的应用。同时，图像生成类模型也会保持快速增长的势头。具体来说，大语言模型仍然是各大科技公司竞相研发的核心技术，包括OpenAI，微软，谷歌，华为，阿里巴巴，百度等中外科技公司都在大力研发下一代的大语言模型，而包括中国移动等传统行业的公司也在入局大语言模型领域，同时还有大量的初创公司在依靠风险投资的支持也在大力开发大语言模型。
2024-01-03 11:32:59
174
1
转载 如何训练卷积神经网络解决问题
这是因为，根据所选的起点、路径，训练时间可能很长，或者目标点可能不是全局最小值，这样网络的准确性就会降低。例如，在我们的CIFAR-10网络数据集中，数据是十个物体类别中的图像集合：飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船和卡车。在我们的示例中，这个值是关联的物体类别。例如，如果必须开发一个新的应用来检测制造过程中螺丝的质量，那么网络也必须使用来自好和坏螺丝的训练数据进行训练。这种最小化是通过一个过程实现的，即在输出处产生的偏差（损失=目标值减去实际值）通过网络的所有组件向后传递，直到到达网络的起始层。
2024-01-02 18:42:23
54
原创 存内计算路线再获加持，清华存内芯片登Science
通过这种方法，可以比较有效的控制二氧化铪忆阻层中的微观变化，以及内部的温度和电场，使得器件具有非常优异的电学特性，而且可以在工厂里大规模生产，推动了高性能忆阻器阵列的诞生。团队搭建了全硬件构成的完整存算一体系统，如下图7所示，在系统里集成了多个忆阻器阵列，并在该系统上高效运行了卷积神经网络算法，成功验证了图像识别功能，证明了存算一体架构全硬件实现的可行性,并且成功实现了以更小的功耗和更低的硬件成本完成复杂的计算[6]。根据测试，在一般神经网络中权重更新的最后阶段，调整步长非常接近0，如图9（C）所示，
2023-12-28 11:05:40
1033
1
转载 光子芯片，又进一步
例如，铌酸锂比硅具有更好的调制器特性，Marpaung 在仍在接受同行评审的工作中表明，铌酸锂可以通过布里渊散射提供类似的高分辨率滤波。“此外，纳米天线形成‘相控阵’，能够实现光功率从入射波导模式到输出波导模式的单向传输，这使我们能够在不超过两倍的距离上实现完整的波导模式转换。这种波导模式转换器是“模分复用”技术的关键推动者，该技术使用相同颜色的光但几种不同的波导模式同时传输独立的信息通道，全部通过同一波导。由于它们的结构，它们以不寻常的方式操纵光——最值得注意的是它们缩短了光的波长。
2023-12-27 17:37:49
44
1
转载 OpenAI 重金押注的「类脑」AI 芯片，到底是什么？
此外，Rain 还为数字内存计算磁贴和软件栈，提供了知识产权（IP）许可机会，该 IP 是专门为要求超低延迟和高能效的设备上的 AI 工作负载而定制的，涵盖了长距离以太网 (Long Reach Ethernet, LRE) 的一系列计算用例，包括智能汽车、智能手表等。据悉，OpenAI 希望利用这些芯片来降低数据中心的成本，并将自己的模型部署在手机和手表等设备中，那么「类脑」芯片（NPU）更是无疑对 OpenAI 来说有着巨大的吸引力，随着大模型的出现，人们开始关注大型 AI 模型数据中心的耗电情况。
2023-12-26 18:52:12
38
转载 AI大时代！一文看懂AI芯片趋势与机会
其中，ASIC在智能手机中有两种主要的芯片，一个是AP（Application Processor，应用处理器），另一个就是BP（Baseband Processor，基带处理器），目前手机中还有第三种ASIC芯片称之为CP（CoProcessor，协处理器），每个厂商对CP都有不同的名字，比如苹果把它叫做协处理器，高通820叫做“低功率岛”，CP的性能已经可以很高了，其开始处理的东西越来越多，现在的CP已经可以处理虚拟现实，增强现实，图像处理，HIFI，HDR，传感器等等。
2023-12-26 18:49:38
53
转载 2024年芯片行业趋势：进入人工智能时代
然而，随着量子计算技术的发展，安全性也成为一个重要问题。在这个充满活力的时代，芯片设计师、工程师和创业者将迎来更多的机会和挑战，共同推动技术的辉煌未来。在较低的制程节点，α粒子可能对可靠性产生影响，这可能导致需要更昂贵的抗辐射芯片，在商业客户中引起更多关注，尤其是对于超高可靠性的商业应用。2024年，芯片和系统领域将经历巨大的变革，这一变革将在人工智能（AI）和机器学习（ML）领域达到新的高度。在2024年，数据中心的应用将更加多样，从填补体力劳动缺口到提供能源管理建议，AI将在其中发挥越来越重要的作用。
2023-12-26 18:48:00
88
转载 2023年中国AI芯片行业发展现状：应用领域不断拓展，数字化转型有望推动行业加速发展
AI芯片即人工智能芯片，也被称为AI加速器或计算卡，是专门用于处理人工智能应用中的大量计算任务的模块。相较于传统的通用微处理器，AI芯片具备更高效能的计算能力、低功耗、高速度、高精度等特点，能够加速训练和推理过程，可用于实现计算机视觉、自然语言处理、机器学习等各种人工智能任务，是目前在人工智能领域广泛应用的重要基础设施之一，同时也是人工智能技术快速发展的重要驱动力之一。AI芯片的种类有很多，其中最常见的是GPU（图形处理单元）、FPGA（现场可编程门阵列）和ASIC（专用集成电路）三种。
2023-12-26 14:19:41
204
转载 所谓的7nm芯片上没有一个图形是7nm的
从效果的角度上，开发者将其对比原有平面晶体管的密度来换算出一个名义上的等效线宽：也就是我们一般所谓的14nm、7nm......当然，关于国产7nm工艺技术的具体来源细节，我其实了解也不多，也不方便公开讨论。在晶圆厂的实际生产过程中，无论是用DUV加多重曝光或者是EUV（在7nm~5nm工艺中，EUV都只是单次曝光）都无法达到7nm的分辨率/CD值（半间距）。首先简单明确一个事实：正如我文章标题所言，7nm工艺其实只是一个等效的说法，实际上7nm芯片上所有层的最小线宽都远远大于7nm。
2023-12-22 16:11:10
33
转载 类脑芯片：人造电子大脑
灵汐科技是国内一家全球领先的类脑计算技术公司，它发布了第一代商业量产的类脑芯片——领启®KA200，它采用异构融合众核、存算一体的架构，单芯片集成25万神经元和2500万突触，每秒超过16万亿次突触计算，功耗近12瓦，实现了同时支持计算机科学和神经科学的神经网络模型，并支持两者融合的混合神经网络计算模型。在众多极具“颠覆性”的科技领域中，类脑计算无疑是最尖端和最前沿的，因此这个领域也是全球各大经济体之间的“兵家必争之地”，而类脑计算领域的长足发展离不开类脑芯片的大力支撑。Loihi的最新进展表明，
2023-12-22 16:08:21
157
转载 推理性能超H100！初创公司推AI加速芯片「Sohu」，算力竞争白热化
文章地址：https://developer.nvidia.com/blog/achieving-top-inference-performance-with-the-nvidia-h100-tensor-core-gpu-and-nvidia-tensorrt-llm/相比于上一代Gaudi 2，Gaudi 3的BFloat16性能提升了4倍，计算能力提升2倍，显存容量提升50%达到144GB，并且采用的是HBM3或HBM3e。苏妈在各种场合不断表示，未来大模型推理市场的规模将远远大于模型训练市场。
2023-12-22 16:07:21
110
转载 什么是第三代通用计算？
在融合阶段，云边端的架构和环境是一致的，某种程度上，从协同阶段的数以万计的设备单系统，升级成了融合阶段的数以万计设备组成的宏观的单个超级大系统。透过现象看本质，我们会发现，集成电路等各种事物发展的常态是通用，“通用到专用”只是达到通用状态后，持续向前发展的一些新的探索，是临时状态，最终还是要回归到新的通用阶段、新的通用状态。专用是事物表面的、临时的、局部的特征，而通用则是事物本质的、长期的、全面的特征。传统AI是弱人工智能。专用是事物表面的、临时的、局部的特征，而通用则是事物本质的、长期的、全面的特征。
2023-12-22 16:05:39
52
转载 AIGC下半场，存储市场复苏蓄势待发？
另外，在自动驾驶方面，针对传统CV模型设计的自动驾驶解决方案，需要依赖高精度地图，而高精度地图需要申请国土局的认证资质，对于海外车企是阻碍，倘若不依赖高精度地图，直接依赖ChatGPT的方式实现自动驾驶，对于ADAS的生态有了新的需求，也对高带宽提出了新需求，进而为存储行业带了新的机会。半导体处于下行周期是业界共识，如何扛过下行周期，寻找新的经济增长点，也是产业共同面临的困境。无论是推理端还是训练端，对存储器的需求都是肉眼可见，而到了AIGC下半场，算力需求从云端向端侧转移，对带宽也会提出新的需求。
2023-12-19 10:57:40
30
1
转载 矩阵-矩阵-向量乘法（MMVM）的模拟存内计算单元
然而，压缩感知还原算法非常复杂，通常涉及高复杂度的矩阵计算和非线性元素操作，使得后端处理器还原过程成为了整个压缩感知流程中公认的瓶颈，限制了压缩感知技术在高速、实时信号处理场景中的应用。然而，同样地，由于压缩感知还原异常高的复杂性，此前的模拟计算方案依赖于三次方复杂度的矩阵-矩阵乘法预计算，或者需要迭代计算完成，产生频繁的数模和模数转换。进一步地，团队从求解的动力学方程出发，将该单元与其它模拟元件连接形成反馈回路，准确地映射了相应的算法，实现了无需预计算、无需迭代的一步求解压缩感知还原。
2023-12-15 14:48:23
118
转载 「神经网络加速器架构」概述进展
如今, 随着数据需求的增长以及硬件算力性能的提升, 人工智能得到越来越广泛的应用. 其中, 神经网络算法已经被成功地用于解决一些实际问题, 例如人脸识别、自动驾驶等. 尽管这些算法有着 卓越的表现, 但其在传统硬件平台上的计算性能仍然不够高效. 因而, 一些为神经网络算法定制的计 算平台应运而生. 本文将总结一些典型的神经网络加速器架构设计, 包括计算单元、数据流控制、所加速的不同神经网络的特点, 以及在新兴计算平台上设计加速器的考量等. 最后我们也将提出对神经 网络加速器未来的展望.虽然大数据应用的井喷推
2023-12-13 15:26:20
126
转载 牛津团队开发存内光计算新方法，将数据处理并行度提升25倍，极大助力AI算法的高效运行
短期之内，他仍将聚焦于研究存内光计算，旨在扩展存内光计算芯片的规模和尺寸，解决高效光电互联的问题，力争开发出一款光电混合计算原型机，并将其投入实际应用之中。“得益于在牛津大学两年在光计算方面积累的经验，以及新加坡政府和 A*STAR 对光计算的重视和支持，我获得了 A*STAR 青年成就奖，得到了等价于 500 万人民币的启动经费支持光计算的相关的工作。理论上，通过并行使用更多的光波长与射频频率，利用这一方法将能在单一芯片中，针对 1000 多个数据流进行同时处理，从而能在边缘云计算场景中发挥重要作用。
2023-12-13 10:53:25
204
转载 再添“芯”动能！清华团队发布最新Science
2020年，钱鹤、吴华强团队基于多阵列忆阻器，搭建了一个全硬件构成的完整存算一体系统，在这个系统上高效运行了卷积神经网络算法，成功验证了图像识别功能，比图形处理器芯片的能效高两个数量级，大幅提升了计算设备的算力，实现了以更小的功耗和更低的硬件成本完成复杂的计算。存算一体架构，就如同“在家办公”的新型工作模式，彻底消除了往返通勤的能量消耗，避免了往返通勤带来的时间延迟，还大大节约了办公场所的运营成本，在边缘计算和云计算中有广泛的应用前景。它可以在断电之后，仍能“记忆”通过的电荷，被当做新型纳米电子突触器件。
2023-12-13 10:49:19
205
InfoQ大模型测评综合能力测评报告2024
2024-01-24
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人