- 博客(4)
- 收藏
- 关注
RSS订阅原创 大模型笔记(一)：混合专家模型MoE代码实践
MoE，全称Mixture of Experts，混合专家模型。MoE是大模型架构的一种，其核心工作设计思路是“术业有专攻”，即将任务分门别类，然后分给多个“专家”进行解决。与MoE相对应的概念是稠密（Dense）模型，可以理解为它是一个“通才”模型。一个通才能够处理多个不同的任务，但一群专家能够更高效、更专业地解决多个问题。1 MoE发展MoE的概念起源于 1991 年的论文。这个概念与集成学习方法相似，旨在为由多个单独网络组成的系统并建立一个监管机制。
2024-08-19 00:40:12
633
原创 SVM核技巧
核函数是一个定义在输入空间的两个样本和之间的函数，其定义为：其中，是将输入样本从原始空间映射到一个高维（甚至无限维）特征空间的映射函数，而表示特征空间中的内积。在机器学习问题中，计算映射到高维特征空间后的内积可能非常昂贵或不可行。然而，通过核技巧，我们可以直接在原始空间计算内积，而无需显式地计算映射。也就是说，核函数能够直接给出在高维特征空间中的内积值，而不需要实际计算。也就是本来是先映射再求内积，现在直接使用核函数。
2024-08-16 14:42:50
693
原创 Github简易教程
Git帮助我们在本地的代码、本地仓库、远程仓库之间进行版本控制以及文件的写作。1、在官网上建立账号并且新建一个repo，自己的仓库2、去官网下载git-bash3、在本地创建一个ssh key需要把你的电脑和你的GitHub账号联系在一起，这样以后就可以十分方便的通过Git bash 随时上传你的代码。在git bash中输入这个代码，引号内需要改成你在注册GitHub的时候绑定的邮箱账号。之后会有一些简单的让你确认的操作，之后让你会提示操作路径、密码等等，一般情况下就直接按回车一路过就可以。
2024-08-15 14:12:53
932
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人