![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
回归2023
文章平均质量分 58
肄若芸
致力于电信通讯与信息化领域的技术研究,多次负责行业信息化、海量数据分析处理、GIS应用等方向科研项目技术攻关,指导部门外包技术管理;2007年获国家计算机信息系统集成项目经理资质、2008年获得所在领域部级科技进步一等奖、2011年获得所在领域青年科技标兵荣誉称号;工作包括行业信息化、项目管理、专项技术攻关等;涉及领域架构、快速开发框架、数据库与数据挖掘、分布式存储、GIS、工作流、自然语言处理、射频技术应用等技术。
展开
-
Claude团队最新研究成果:分解大模型的神经元!
具体来说,Anthropic采用一个具有512个神经元的MLP单层transformer,通过在具有80亿个数据点的MLP激活上训练稀疏自动编码器,最终将MLP激活分解为相对可解释的特征,扩展因子范围可以从1x(512个特征)增长到256x(131072个特征)。具体而言,神经元具有不可解释性,但经过这一分解,Anthropic发现每一个特征都代表了不同的含义,比如有的分管DNA序列,有的则表示HTTP请求、法律文本等等,也就是具备了可解释性。5、当我们增加自动编码器的大小时,特征似乎会“分裂”。转载 2023-10-08 00:06:29 · 159 阅读 · 0 评论 -
今天立个flag,每周3篇原创
生活笔记原创 2023-10-07 01:29:30 · 146 阅读 · 0 评论