- 博客(63)
- 收藏
- 关注
RSS订阅原创 《从零开始学习大语言模型》专栏来啦！
无论你是刚入门的新手，还是想要深入了解的高级用户，这里都有适合你的内容。在LLM-from-scratch专栏中，我们将通过详尽的解释、丰富的图示和实际案例，帮助你深入理解和掌握大语言模型的核心技术和应用。我们将通过图示详细解释这个经典的词向量模型的运作机制。解析GPT2模型的架构和工作原理，帮助你理解这个强大的生成模型是如何产生流畅自然的文本。从头开始实现Bert模型的预训练过程，掌握如何准备数据和训练模型，提升你的实战技能。总结大模型的运行原理，从基本概念到复杂机制，让你对大模型有一个全面的理解。
2024-07-01 10:26:41
449
原创 斯坦福NLP课程来了
Transformer已经成为主流模型，除了其自身的注意力机制外，还有一个优点，在CV中，当模型越来越大后，虽然可以通过残差连接加快模型收敛，但模型的效果提升有限，而Transformer在数据量和计算资源充足的情况下，模型越大效果越好，这也是为什么大公司都在搞军备竞赛一样，动不动就搞出个1000多亿个参数的模型。但这种方式仍然无法保留语义信息。为了捕获整个输入的信息，就有了Seq2Seq模型，本质上是一个编码器和解码器模型，编码器对输入进行编码，保存到隐藏状态中，然后在解码器中使用编码器中的隐藏状态。
2023-11-22 13:03:54
466
原创 微软重磅发布4个适合初学者的机器学习资料
自媒体火起来后，很多科技大佬都开始写博客，录视频了，大佬一入行，整个行业卷上天，像我这样的也只能走资源整合之路了，不过这样也好，科技进步，人类发展需要他们。除了个人，科技公司也没闲着，吃饱喝足后也开始在教育方面秀肌肉，露大腿，不过你可别以为他们是在做慈善，这不过是吸引用户的一种手段罢了。课程中会推荐自家的云平台，AI芯片，AI产品，甚至鼓动你弄个全息眼镜玩玩，不过也别在意，他家的东西还是可以的。数据科学中的一些方法仍然是机器学习中所必需的，例如，数据获取，数据清洗，数据预处理，模型选择等等。
2023-11-22 12:57:55
827
原创 线性代数本质系列（二）矩阵乘法与复合线性变换，行列式，三维空间线性变换
本系列文章将从下面不同角度解析线性代数的本质，本文是本系列第二篇向量究竟是什么？向量的线性组合，基与线性相关矩阵与线性相关逆矩阵，列空间，秩与零空间克莱姆法则非方阵点积与对偶性叉积以线性变换眼光看叉积基变换特征向量与特征值抽象向量空间快速计算二阶矩阵特征值张量，协变与逆变和秩。
2023-11-13 13:08:31
1025
原创 线性代数本质系列（一）向量，线性组合，线性相关，矩阵
天道中丁元英说过一句话：佛说，看山是山，看水是水，普通大众寄情山水之间时，如神一般的丁元英却早已看透文化属性；今天我们不研究这么高深的哲学，回到线性代数，向量，矩阵对于我来讲只不过是一堆数字，但切换到神的视角，他们却是几何与变换，瞬间让线性代数变得更加立体生动，今天我们就从几何的角度去探索线性代数的本质。
2023-11-13 12:51:16
1020
原创 Essential Math for AI：高效的人工智能数学原理晋级读物
数据格式不同，模型自然也就不同，CV应用CNN，ANN应用前馈神经网络，NLP则使用RNN，但RNN不能解决长程依赖问题，以及串行计算效率低下，导致了后续的各种变体的出现，如LSTM，Transformr等。在传统的机器学习算法中，普通的线性回归，逻辑回归，SVM都可以看作是凸优化问题，对于凸优化，局部最优解就是全局最优解，只要找到梯度等于零的点就可以了。矩阵分解就是一个普通矩阵分解为具有良好性质的矩阵，例如，将矩阵分解为对角矩阵，对角矩阵有一个非常好的性质，矩阵的任意次方都等于矩阵对角元素的任意次方。
2023-11-10 19:46:18
450
原创 【机器学习】Github上爆火的机器学习资源numpy-ml
1.高级机器学习算法：NumPy 只提供了有限的几种经典算法,不如完整框架包括的算法多，如果需要更高级的功能和优化。专门的机器学习框架提供了丰富的工具和函数，用于数据加载、转换、特征工程和数据增强等操作。4.分布式计算和加速计算：对于大规模的数据集和复杂的模型，需要进行分布式计算和高性能的加速计算。一些机器学习框架提供了分布式计算的支持，可以在集群或GPU等加速硬件上运行模型训练和推理，以提高计算效率和速度。但是，当你想调试时，或者想查看某些细节是如何实现时，你会发现，这些框架都依赖了很多其他的库。
2023-11-10 19:42:03
132
原创 GeoGebra：数学动画制作工具重磅来袭
但我之前的描述有些许偏差，这里要更正一下，manim不仅限于制作线性代数动画，也可以制作数学其他学科的动画，例如微积分，概率与统计等等，甚至还可以制作物理动画。manim需要python编程基础，这对没有基础的人来说是一个缺点，但通过编程的方式能够精确控制元素的运动，这对于高级用户来说却是一种优点。他们可以看作是一个平台，集成了上面所有分支工具，将每个分支工具看作是一个插件，这样就不用分别安装每个分支软件了。上述工具除了绘制图形外，还提供了各种工具，例如计算函数的根，测量几何角度，根据点拟合函数等等。
2023-11-10 19:26:39
901
1
原创 数学函数3D可视化工具来了
虽然它们功能上有些重复，但界面和操作流程上却略有差别，有的人可能更习惯这个，而有的人则更容易上手那个。有的人喜欢在线工具，而有的人则喜欢本地安装。它的特点是方便好用，精美的用户界面经过精心设计，以实现最高效率，无需学习曲线。但遇到好用的工具又忍不住分享出来，试用了这些工具后，似乎勉强地找到了一些分享的理由。按理讲不应该再重复推荐类似的工具了，感觉犯了软件开发常说的忌讳：重复造轮子。所以，选择最顺手的作为常用工具，其他的则作为补充吧。有的人也会抱怨手里的工具多了都不知道用哪一个了。第二个分享的在线工具是。
2023-11-10 12:40:41
876
原创 【深度学习】机器翻译的前世今生
如果你要求谷歌将格鲁吉亚语翻译成泰莱古语，它必须在内部将其翻译成英语作为中间步骤，因为没有足够多的格鲁吉亚语到泰莱古语的翻译来证明在该语言对上投入大量资金是合理的。例如，我们可能会测量每只耳朵的大小或两只眼睛之间的间距，然后比较两张照片中的这些测量值，看看他们是否是同一个人。对语言翻译几乎一无所知的深度学习研究人员正在拼凑相对简单的机器学习解决方案，这些解决方案正在击败世界上最好的专家构建的语言翻译系统。现在比较两张不同的脸要容易得多，因为我们只需要比较每张脸的这 128 个数字，而不是比较完整的图像。
2023-11-10 12:25:03
226
原创 【AI+医疗】AI在医疗影像设备工作周期中的应用探索
医疗图像，很多器官都是跨层的，也就是属于3D空间信息，并且形态各异，传统的2D分割网络，例如Unet,VNet对于血管分割效果不是很好，所以一般使用3D分割网络，例如UNet3D或者基于视觉Transformer的分割模型。通过在设备上方安装RGB和深度摄像头，在与影像设备进行标定后，即可通过RGB图像获得水平方向的解剖关键点，进行检查部位的定位，通过3D点云数据获得垂直方向的中心点，使检查部位处于图像中心，提高图像质量同时也能够避免磕碰。通过图像分类，只能得到定性结果，而定量结果往往更为重要。
2023-09-14 09:26:52
223
原创 【机器学习】Kaggle大神出书了
我在kaggle上接触的第一个项目是用机器学习进行房价预测，也被称为机器学习界的hello world，就这么一个简单的回归任务，前十名的解决方案都有所不同，有的80%的代码都在进行特征工程，最后调用简单的线性回归函数进行数据拟合，而有的则把重点放在模型上，例如，使用集成学习模型，所以当你具备了一定的理论基础后，通过学习不同的解决方案拓宽思维，当你遇到新问题时一定能快速找到最合适的方法。另外，这本书中会有大量的代码，请一定不要略过这些代码，即使是一个不起眼的超参数设置，也可能项目成败的关键。
2023-09-14 09:17:19
480
原创 【深度学习】大模型卷到机器人上了
采用这种方法的另一个好处是不需要从零开始训练模型，目前已经有在大量网络数据上进行训练的视觉语言预训练模型，例如，PaLI-X PaLM-E，但只有网络通用数据无法直接应用于机器人领域，所以需要在预训练模型的基础上继续用专门的机器人训练数据进行微调，其整体训练过程如下。整体流程如上图所示，机器人接受人类的语音指令，将其转换为文本，同时利用自身的摄像头对现实场景进行拍照，将文本和图片同时输入到RT2中，模型输出机器人控制指令文本，最后将指令文本解码成机器人能识别的指令格式下达给机器人控制器。
2023-09-13 20:43:33
467
原创 【线性代数】沉浸式线性代数在线学习网站
这是继向量加法，向量与标量乘法后，另一个重要的向量操作，向量的点积是两个向量之间的乘法运算，结果是它们对应分量的乘积之和。矩阵是线性代数中，除向量外的另一大主角，可以从两方面看待矩阵，一方面是静止的，例如，一幅图像可以用矩阵表示，另一方面是动态的，例如可以用矩阵表示一个变换。这是继向量加法，向量与标量乘法，向量点积后，最后一个重要的向量操作，与点积结果为标量不同，叉积的结果仍然是一个向量，也就是说比点点积多了一个方向信息。线性映射是指在向量空间之间进行的一种特殊的映射关系，它保持向量的线性组合性质。
2023-09-13 20:41:38
538
原创 分享人工智能方向优质技术博客
想要阅读更多关于人工智能技术博客，请关注微信公众号：人工智能大讲堂专注人工智能底层数学原理和应用，专栏包括线性代数，概率统计，机器学习，深度学习。线性代数博客汇总线性代数博客合集线性代数本质（一）：向量，线性组合，线性相关，基线性代数本质（二）：矩阵与线性变换线性代数本质（三）：逆矩阵，列空间，秩与零空间线性代数本质（四）：克莱姆法则线性代数本质（五）：非方阵线性代数本质（六）：点积与对偶性线性代数本质（七）：叉积线性代数本质（八）：以线性变换眼光看叉积线性代数本质（九）：基变换线性代
2023-03-29 09:16:33
166
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人