- 博客(140)
- 收藏
- 关注
RSS订阅原创 【论文阅读】RadioDiff: Effective Generative Diffusion Model for Sampling-Free RadioMap Construction
RadioDiff模型对无线通信领域研究具有显著的促进作用。它为6G网络等提供了精准的无线环境信息，助力网络优化与部署。在智能交通、远程医疗等领域，能保障应用的稳定运行。其高效、精准的无线地图构建能力，为无线通信新技术的研发提供了有力支持，推动了无线通信技术的创新与发展，加速了6G网络等应用场景的实现进程。
2025-03-29 23:00:15
1019
1
原创 【AI绘画】干刻版画的建模尝试
干刻（Drypoint）是一种独特的版画雕刻技艺，其核心在于以刀代笔，直接在金属版（多为铜版或锌版）表面进行雕刻。与需要化学腐蚀的蚀刻法不同，干刻仅依靠物理刻痕完成创作，雕刻师需手持尖锐的钢针，通过手腕力量在版面上划出深浅不一的线条。这种技法最显著的特征在于刻痕边缘会翻起金属毛边（Burr），当油墨填入凹槽后，毛边会吸附更多颜料，最终在印刷时形成朦胧的灰调与柔和的过渡，赋予画面独特的颗粒感和呼吸感
2025-03-22 18:27:22
323
原创 【AI学习】从混元T1看Mamba与Transformer的融合
SSM-Transformer混合架构。具体做法是将自注意力和MLP层添加到Mamba架构中。56层的Mamba-2-Hybrid中包含4个（7.1%）自注意力层，24 个（42.9%）Mamba-2层和28个（50%）MLP 层，其中Mamba-2层使用与Mamba-2模型相同的参数。消融实验的结果还显示，混合模型中不添加旋转位置编码（RoPE）能达到更好的下游任务性能，而且Mamba层、自注意力层、MLP层的顺序也会影响模型能力。具体来说，Mamba层必须出现在架构的开头，以确保模型自然地学习到位置信息
2025-03-22 18:21:09
960
原创 【AI学习】关于Kimi的MoBA
MoBA论文一作、知乎答主【Andrew Lu】的回答详述了研发过程中三次踩坑的经起伏历，被知友形容为「思维链背后的思维链开源」
2025-03-12 22:16:44
188
原创 【AI绘画】“木刻时光·细密风”模型发布
这一版是针对黑白木刻风格进行Lora微调的第三版模型。对比第一版，能够刻画的更加细腻，泛化性也获得大幅提升。
2025-03-06 22:28:15
406
原创 【AI学习】DeepSeek的发展与行业应对策略
一看AI的技术边界，准确判断AI真的能做什么；二看问题看增量，看自己行业、自己周边的问题和增量机会。
2025-03-06 22:23:50
882
原创 【AI绘画】黑白木刻之希腊神话系列（一丹一世界）
在魔塔社区的AIGC专区，通过Lora技术训练了一个黑白木刻风格的模型。再通过Deepseek生成希腊神话的提示词。
2025-03-02 21:33:22
769
原创 【AI学习】DeepSeek-R1-Distill的意义和影响
在DeepSeek R1的技术报告中，还有这样一个技术：蒸馏赋予小模型推理能力。这项技术的意义和影响是什么？
2025-02-12 22:12:11
1047
原创 【AI学习】DeepSeek为什么这么火爆？解密梁文锋的深谋远虑
重新回头，复盘一下DeepSeek的发展思路，以及未来的发展策略。越想越佩服梁文锋，思路之缜密，令人震惊！
2025-02-12 15:28:02
1142
原创 【AI学习】LLM的发展方向
个人觉得，可能还有两个scaling方向，就是训练成本和推理成本的持续降低，或许这依赖于新的更高效——同时也能scaling的架构
2025-02-10 22:05:35
400
原创 【AI非常道】二零二五年一月（二），AI非常道
经常在社区看到一些非常有启发或者有收获的话语，但是，往往看过就成为过眼云烟，有时再想去找又找不到。索性，今年开始，看到好的言语，就记录下来，一月一发布，亦供大家参考
2025-01-30 23:07:23
1189
1
原创 【AI非常道】二零二五年一月，AI非常道
经常在社区看到一些非常有启发或者有收获的话语，但是，往往看过就成为过眼云烟，有时再想去找又找不到。索性，今年开始，看到好的言语，就记录下来，一月一发布，亦供大家参考。
2025-01-25 21:43:48
757
原创 【AI工具】夸克AI试用：分析DeepSeek-V3技术报告
DeepSeek-V3是一个拥有6710亿参数的专家混合（MoE）语言模型，每次生成一个标记时激活370亿参数。为了实现高效推理和经济型训练，DeepSeek-V3采用了多头潜在注意力（MLA）和DeepSeekMoE架构，这两种架构在DeepSeek-V2中得到了充分验证。此外，DeepSeek-V3率先采用无辅助损失策略进行负载均衡，并设置了多标记预测训练目标以实现更强大的性能。
2025-01-19 08:00:00
4299
原创 【AI学习】地平线首席架构师苏箐关于自动驾驶的演讲
在地平线智驾科技畅想日上，地平线副总裁兼首席架构师苏箐（前华为智驾负责人）做了即兴演讲，以下是其演讲的主要内容：对自动驾驶行业的看法自动驾驶的难度与挑战：苏箐表示自动驾驶非常难，他做自动驾驶到现在已经快抑郁了，很多优秀的同学都改行了，去做具身智能机器人。他认为自动驾驶是第一个在物理世界跟人交互的机器人，是在一个半规则和半非规则的场景里面的东西，如果连自动驾驶都搞不定，去做完全是非结构化的机器人是不可能的。自动驾驶的价值拐点：苏箐认为自动驾驶系统的竞争对手是人类本身，其价值是一个拐点式的价值。
2025-01-15 11:30:33
1115
原创 【AI工具】PDFMathTranslate安装使用
用了一天时间，安装并使用了PDFMathTranslate这款PDF文档翻译工具。PDFMathTranslate是能够完整保留排版的 PDF 文档全文双语翻译项目，之前使用文档翻译的时候，对于论文这种类型的文章，由于图表和公式太多，文档翻译经常出现格式错乱。试用下来，效果不错，而且免费。
2025-01-04 19:43:04
9832
9
原创 【AI学习】2024年末一些AI总结的摘录
看到不少的总结，边摘录边思考。尤其是这句话：“人类真正的问题是：我们拥有旧石器时代的情感、中世纪的制度和神一般的技术”。
2025-01-01 21:57:11
1220
1
原创 【AI学习】DeepSeek-V3 技术报告学习：总体架构
翻了一下DeepSeek-V3 技术报告学习，太长，只是大概翻了一下，其中Multi-Token Prediction的技术就很亮眼。
2024-12-28 22:17:05
8592
原创 【AI学习】Huggingface复刻Test-time Compute Scaling技术
OpenAI ChatGPT o1 背后的关键技术Test-time Compute Scaling，Huggingface实现并开源了！Hugging Face 团队发布了一篇关于“开源模型中的推理阶段计算扩展”（Test-time Compute Scaling） 的研究文章。Hugging Face 团队通过复现 DeepMind 等研究成果，通过测试时计算扩展（test-time compute scaling）来提升小模型的性能，使其在某些情况下超越更大规模的模型。
2024-12-21 22:17:38
1627
1
原创 【AI学习】OpenAI推出o3，向AGI迈出关键一步
2024年12月21日，OpenAI在其为期12天发布会活动的最后一天，正式发布了备受期待的o3系列模型，包括o3和o3-mini。o3 是一个非常强大的模型，在编码、数学以及 ARC-AGI 基准测试等多个基准上超过了 OpenAI 此前的 o1 模型（o1得分25%，o3得分87.5%)。o3-mini 是 o3 更经济高效且性能导向的版本，在成本和延迟方面比 o1-mini 低得多，同时提供类似的功能。
2024-12-21 21:39:36
1319
原创 【AI学习】Ilya在NeurIPS 2024的重磅发言：预训练即将终结！
最近，Ilya在NeurIPS 2024的发言引起广泛关注，很多人说这可能是今年最重要的发言。各个自媒体都有相关文章，这里记录作为备忘。
2024-12-18 06:00:00
1054
原创 【AI学习】OpenAI研究员Noam Brown：推理计算让我们重回“GPT-2”时代
作为O1项目的核心成员，他从一线研究者的视角，详细阐述了推理计算扩展的一些思考。和Ilya 讲预训练结束的主要原因是数据耗尽原因不同，Noam则强掉了经济性因素——预训练的扩展现在太贵太复杂了，所以难以为继，而推理计算则正处于当年的”GPT-2“阶段，方兴未艾。对于Noam预测，未来可能会出现一个统一模型，这个论点我还是有点怀疑，或者如同生物进化一样，更多类似的智能组织在一起，更为合理。Noam认为，学术界在资源受限的情况下，应该专注于探索具备长期潜力的新技术，而不是在尖端领域与业界竞争。
2024-12-18 06:00:00
385
原创 【AI学习】Mamba学习（二十一）：Mamba发展回顾
Mamba的发展历程经历HiPPO->S4->S6演化而来。本篇做一个简单的回顾，再结合一个RNN的优化案例，更清晰地看明Mamba的思路。
2024-12-08 22:30:06
894
1
原创 【AI学习】苹果技术报告《Apple Intelligence Foundation Language Models》
这篇文章介绍了苹果公司开发的基础语言模型（Apple Foundation Language Models，简称AFM），这些模型旨在为苹果智能（Apple Intelligence）功能提供支持。文章详细描述了这些模型的架构、训练过程、优化方法以及评估结果，并强调了负责任的人工智能（Responsible AI）原则在模型开发过程中的应用。
2024-12-08 22:29:29
1408
原创 【AI学习】Mamba学习（十九）：关于S4-FouT
文章推导出了HiPPO框架的一个更一般和直观的公式，它为S4提供了一个简单的数学解释，即通过指数扭曲的Legendre多项式（exponentially-warped Legendre polynomials）分解来捕获长期依赖关系。我们的推广引入了一个理论上丰富的SSM类别，也让我们推导出了更直观的S4变体，用于其他基底，如傅里叶基底，并解释了训练S4的其他方面，例如如何初始化重要的时间尺度参数。
2024-12-07 23:21:53
866
原创 【AI学习】Mamba学习（十八）：S6的硬件感知设计
对于S6模型的硬件感知设计，尤其是所谓的并行扫描，看论文没有看清楚，查了相关博客，再进行一下梳理。
2024-11-26 22:45:32
1554
原创 【AI学习】Mamba学习（十七）：《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》
本文对《Mamba: Linear-Time Sequence Modeling with Selective State Spaces》这篇论文进行了完整学习
2024-11-26 21:58:19
1145
原创 【AI学习】Mamba学习（十六）：从S4到S5模型
从S4到S5，S4D这篇论文最深入，对于如何参数化和初始化SSM对角状态空间模型有系统的阐述和大量对比试验，对于后续的技术发展提供了基础作用。
2024-11-22 23:30:41
1163
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人