![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
AI学习
文章平均质量分 83
bylander
这个作者很懒,什么都没留下…
展开
-
【论文速读】《Large Multi-Modal Models (LMMs) as Universal Foundation Models for AI-Native Wireless System》
如何将LMM应用于通信领域,这是我作为通信专业人士,必须关心的一个话题。这篇文章,总的来说,关于已有探索的局限性分析的不错,关于后面的开放性问题也总结的不错。但是文章提出的框架,还是有些过于概念化。原创 2024-07-10 22:40:14 · 670 阅读 · 0 评论 -
【论文速读】《面向深度学习的联合消息传递与自编码器》,无线AI的挑战和解决思路
文章对我比较有启发的地方,是提到自编码架构的全局收发机面临的主要问题.原创 2024-07-10 22:38:53 · 777 阅读 · 0 评论 -
【AI学习】无线AI的问题和挑战
最近一直在进行无线AI的调研,感觉真的是路漫漫其修远兮。业界有一些探索,但是感觉离商用还有很远的距离。这里整理关于挑战和问题的分析原创 2024-07-04 22:13:22 · 713 阅读 · 0 评论 -
【AI学习】OpenAI员工关于AI 模型的观点:模型代表的是数据集而不是模型参数
模型行为不是由体系结构、超参数或优化器选择决定的。它由您的数据集决定,仅此而已。其他一切都是有效交付计算以近似该数据集的手段。原创 2024-06-30 22:18:58 · 240 阅读 · 0 评论 -
【AI学习】斯坦福大学教授李飞飞在2024年数据与人工智能峰会上的人工智能历史与未来演讲
要有光。对于生物而言,要有光,原来不是有了光,而是,生物进化了视觉系统,能够看见光,有了光,进一步就有了理解,有了行动。原来如此!原创 2024-06-19 22:28:44 · 695 阅读 · 0 评论 -
【AI学习】LLaMA 系列模型的进化(一)
一直对LLaMA 名下的各个模型关系搞不清楚,什么羊驼、考拉的,不知所以。幸好看到两篇综述,有个大致了解,以及SEBASTIAN RASCHKA中对LLaMa 3的介绍。做一个记录原创 2024-06-15 23:01:41 · 1114 阅读 · 0 评论 -
【AI学习】Together AI的新研究:Together MoA(Mixture of Agents)
Together AI的最新研究“Together MoA”(Mixture of Agents,代理混合)是一种创新的方法,旨在通过结合多个开源大型语言模型(LLMs)的集体智慧来增强单个模型的性能。该研究采用了分层架构,每一层包含多个LLM代理,这些代理各自具有不同的专长和优势。原创 2024-06-15 22:35:07 · 1142 阅读 · 0 评论 -
【AI学习】OpenAI员工谈消融实验
消融实验让我了解什么真正重要,以及结果有多少仅仅是由于研究者选择的实现选择原创 2024-06-10 22:48:52 · 459 阅读 · 0 评论 -
【AI学习】OpenAI员工关于复合模型案例(composite models)的分析
看到jbetker(OpenAI员工)发表于2022年的一篇关于复合模型案例的博客,感觉很有意思,做一个重点摘录原创 2024-06-07 23:35:12 · 858 阅读 · 0 评论 -
【论文阅读】SELF-RAG,让模型决策和反思检索
Self-Rag框架训练流程涉及两个模型,一个是评价模型(Critic Model),一个是生成模型(Generator Model)。大概方法是,借助GPT-4形成数据集,训练评价模型;然后通过评价模型,生成新的数据集,再来训练生成模型。原创 2024-06-06 21:16:05 · 1168 阅读 · 1 评论 -
【AI学习】什么是token?
"Token"就像是一枚生长在AI世界的种子,跃然在世界各地生根发芽,带给我们前所未有的便利和想象。虽然我们现在还无法明确预知所有"Token"能产生的改变,但是已经可以看到,它正在静静地改变着我们的世界。原创 2024-05-28 22:24:21 · 919 阅读 · 1 评论 -
【AI学习】卷积神经网络的由来
生物的视觉神经系统能够高效的感知和处理现实世界中的复杂视觉刺激,当下的人工智能系统完全无法比拟原创 2024-05-24 22:10:16 · 448 阅读 · 0 评论 -
【AI学习】Nature新闻,《Cubic millimetre of brain mapped in spectacular detail》
这份地图如此庞大,以至于大部分尚未经过人工核对,仍可能包含由于拼接如此多图像而产生的错误。“数百个细胞已经经过‘审校’,但显然这只占其中的几个百分点,”原创 2024-05-23 23:01:36 · 667 阅读 · 0 评论 -
【AI学习】对LLM训练中数据处理的再认识
语言模型在普通的数据上也能训练得工作,但是通过高质量数据或者通过启发引导模型对数据进行区分,可以让模型工作的更好,而过度训练说明,之前的语言模型尚没有充分挖掘出语言中的天才成分。原创 2024-05-22 22:20:24 · 624 阅读 · 0 评论 -
【AI学习】简单聊聊后训练(Post-Training)的重要性
模型生成的输出质量比网上的大多数内容都要高。因此,让模型自己思考似乎更有道理,而不仅仅是训练来模仿网络上的内容。所以,我认为从第一性原理上来说,这是有说服力的。我会说,我们通过后训练取得了很多进步。原创 2024-05-17 22:01:38 · 1142 阅读 · 0 评论 -
【AI学习】读《对话丨地平线创始人余凯:战略的本质是不赌》的一些想法
“一个领导者,要替大家把整个平台搭起来,把天花板撑高,大家在上面有很大空间可以发挥,可以挣钱”原创 2024-05-17 21:37:25 · 857 阅读 · 0 评论 -
【AI学习】聊两句昨夜OpenAI的GPT-4o
GPT-4o,是单独训练的新模型,可以端到端地处理文本、视觉和音频,这意味着所有输入和输出都由同一个神经网络处理原创 2024-05-14 21:36:57 · 1116 阅读 · 0 评论 -
【AI学习】对指令微调(instruction tuning)的理解
在FLAN系列的论文中,谷歌提出了指令微调的概念,通过自然语言指令描述的任务数据集对预训练后的语言模型进行微调,用于提高语言模型的零样本学习能力。原创 2024-05-14 21:10:02 · 611 阅读 · 0 评论 -
【文章转载】ChatGPT 提示词十级技巧: 从新手到专家
关于自我提示,大语言模型在给自己出提示时,它往往比人类做得更好。所以,我们只需要让大语言模型制定一个提示词,就能得到我们想要的提示原创 2024-05-08 22:05:48 · 895 阅读 · 0 评论 -
【AI学习】人工智能 or 人造智能 or 人创智能
Artificial Intelligence,似乎不应该翻译为人工智能,人造智能 or 人创智能是否更合适原创 2024-05-02 22:50:07 · 680 阅读 · 0 评论 -
【AI学习】Ben Thompson对 Nat Friedman 和 Daniel Gross的采访
看到所有这些公司的 CEO 都在吹嘘他们的 MMLU 参数指标(MMLU number, 大规模多任务语言理解基准)是很有趣的,而 MMLU 是丹·亨德里克斯 ( Dan Hendrycks ) 在大学本科时自己开发的一个评估。所以你基本上是看到万亿美元公司的 CEO 在谈论他们在一个本科生推出的测试中的分数,而这是目前最重要的推理评估(the premier reasoning eval)之一。原创 2024-04-27 22:55:20 · 911 阅读 · 0 评论 -
【AI学习】RAG与推荐系统
推荐系统和RAG(Retrieval-Augmented Generation)确实在某些方面有相似之处,尤其是在处理信息检索和生成任务时原创 2024-04-25 21:26:58 · 862 阅读 · 1 评论 -
【AI学习】Transformer的Token嵌入表示为什么那么长
经过Transformer编码器后的每个Token,已经不是一个单独的Token,而是拥有了过去、现在和未来的全局文本语义信息,能够理解过去,也能够预测未来。原创 2024-04-23 21:34:09 · 1129 阅读 · 0 评论 -
【AI学习】有关“长文本 vs RAG”
长文本 vs RAG之间的关系,也和微调 vs RAG一样,并不是对立关系,更可能是互补关系原创 2024-04-21 22:14:33 · 353 阅读 · 1 评论 -
【AI学习】对RAG的理解
微调与RAG之间的关系,比较喜欢一个通俗的解释:微调有点像闭卷考试,将专业知识注入到模型中,RAG有点像开卷考试,可以让你带着资料,但是呢,虽然最后是开卷考试,但是老师平时还是要按照闭卷考试的难度去要求学生学习,这样有了能够应对闭卷考试的水平,才能够在开卷考试中有更好的成绩,否则,抄都不知道怎么抄。微调 vs RAG,这两个技术,相辅相成,不矛盾原创 2024-04-20 10:30:06 · 533 阅读 · 0 评论 -
【AI学习】对微调(Fine-tuning)的理解
做一个不十分准确的对比,对比一个人的学习过程,预训练有点像学校学习,从小学一直到本科、硕士、博士等,SFT有点像进入单位的短期实习,RLHF有点像单位的规章制度学习,告诉你什么可以做什么不能说,要尊敬领导不要反驳领导等等原创 2024-04-19 21:17:58 · 1042 阅读 · 0 评论 -
【AI学习】《潜望》对杨植麟的访谈要点
关于长文本,关于行业发展,很多观点原创 2024-04-17 21:46:09 · 474 阅读 · 0 评论 -
【AI学习】 “蛋糕”的启发
LeCun用蛋糕来比喻机器学习,监督学习和强化学习分别比作是蛋糕的糖霜和樱桃,而无监督学习则就是蛋糕本身原创 2024-04-16 23:01:06 · 281 阅读 · 0 评论 -
【AI学习】什么是深度学习
对比机器学习,深度学习是一种端到端的学习方法。原创 2024-04-16 22:18:00 · 310 阅读 · 0 评论