- 博客(4)
- 收藏
- 关注
原创 大模型笔记(一):混合专家模型MoE代码实践
MoE,全称Mixture of Experts,混合专家模型。MoE是大模型架构的一种,其核心工作设计思路是“术业有专攻”,即将任务分门别类,然后分给多个“专家”进行解决。与MoE相对应的概念是稠密(Dense)模型,可以理解为它是一个“通才”模型。一个通才能够处理多个不同的任务,但一群专家能够更高效、更专业地解决多个问题。1 MoE发展MoE的概念起源于 1991 年的论文。这个概念与集成学习方法相似,旨在为由多个单独网络组成的系统并建立一个监管机制。
2024-08-19 00:40:12
633
原创 SVM核技巧
核函数是一个定义在输入空间的两个样本和之间的函数,其定义为:其中,是将输入样本从原始空间映射到一个高维(甚至无限维)特征空间的映射函数,而表示特征空间中的内积。在机器学习问题中,计算映射到高维特征空间后的内积可能非常昂贵或不可行。然而,通过核技巧,我们可以直接在原始空间计算内积,而无需显式地计算映射。也就是说,核函数能够直接给出在高维特征空间中的内积值,而不需要实际计算。也就是本来是先映射再求内积,现在直接使用核函数。
2024-08-16 14:42:50
693
原创 Github简易教程
Git帮助我们在本地的代码、本地仓库、远程仓库之间进行版本控制以及文件的写作。1、在官网上建立账号并且新建一个repo,自己的仓库2、去官网下载git-bash3、在本地创建一个ssh key需要把你的电脑和你的GitHub账号联系在一起,这样以后就可以十分方便的通过Git bash 随时上传你的代码。在git bash中输入这个代码,引号内需要改成你在注册GitHub的时候绑定的邮箱账号。之后会有一些简单的让你确认的操作,之后让你会提示操作路径、密码等等,一般情况下就直接按回车一路过就可以。
2024-08-15 14:12:53
932
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人