LLM
文章平均质量分 86
大模型实战
loveisastory
这个作者很懒,什么都没留下…
展开
-
昇思25天学习打卡营第13天 | LLM原理和实践:文本解码原理--以MindNLP为例
本文以MindNLP为例,介绍了大语言模型的解码原理。包括贪心搜索、束搜索、样本搜索、温度、TopK采样方法、Top-P采样方法、混合采样方法等对解码结果的影响。原创 2024-07-06 23:45:07 · 945 阅读 · 0 评论 -
昇思25天学习打卡营第9天 | 自然语言处理:LSTM+CRS序列标注
本文主要介绍了序列标注的原理和实现. 序列标注问题通常用于从文本中进行信息抽取,包括分词(word segmentation),词性标注(position tagging),命名实体识别(named entity recognition,NER)等. 本文以命名实体识别为例,学习了使用双向长短期记忆网络+条件随机场(BiLSTM+CRF)进行BIOE标注的方法.原创 2024-07-03 08:53:52 · 955 阅读 · 0 评论 -
昇思25天学习打卡营第12天 | LLM原理和实践:MindNLP ChatGLM-6B StreamChat
本文主要介绍了使用mindnlp下载chatglm-6B预训练模型,并基于此模型,通过输入提示词完成回答文本生成的模型推理任务,从而实现了一个简单的聊天应用。原创 2024-07-06 00:54:11 · 546 阅读 · 0 评论 -
昇思25天学习打卡营第11天 | LLM原理和实践:基于MindSpore实现BERT对话情绪识别
本文主要介绍了用MindSpore实现BERT对话情绪识别的过程。主要包括环境配置、数据集下载、加载和预处理,模型构建和训练、模型验证、模型推理和模型泛化能力测试等方面。原创 2024-07-05 08:45:23 · 1350 阅读 · 0 评论 -
昇思25天学习打卡营第10天 | 自然语言处理:RNN实现情感分类
本文主要介绍了RNN实现情感分类的整个过程。主要包括:数据下载,数据集预处理,模型构建,模型训练与保存,模型加载与测试,自定义输入测试等过程。其中模型构建的具体步骤包括构建词嵌入矩阵、RNN循环神经网络、Dense全连接层、损失函数和优化器、训练函数和评估函数。原创 2024-07-04 08:56:17 · 1321 阅读 · 0 评论 -
昇思25天学习打卡营第8天 | 使用静态图加速
文本主要介绍了AI编译框架的两种运行模式动态图模式和静态图模式加速。在脚本开发和网络流程调试过程中,推荐使用动态图模式进行调试。静态图模式则适合比较适合网络固定且需要高性能的场景。然后介绍了静态图模式的使用场景、开启方式、语法约束、配置选项和高级编程技巧。其中开启方式主要包括装饰器开启和基于context开启。原创 2024-07-02 08:54:41 · 923 阅读 · 0 评论 -
昇思25天学习打卡营第7天之二 | 模型保存与加载
本文主要介绍了模型的保存和加载,都包括检查点`checkpoint`和统一中间表示`MindIR`(Intermediate Representation)两种方法,还介绍了模型大小的估算方法。原创 2024-06-30 19:43:20 · 395 阅读 · 0 评论 -
昇思25天学习打卡营第7天 | 模型训练
本文介绍了模型训练的全过程,主要包括数据处理、模型定义、超参数、损失函数、优化器、前向传播函数、梯度计算函数等的定义、模型的训练与评估等内容。原创 2024-06-30 17:51:19 · 795 阅读 · 0 评论 -
昇思25天学习打卡营第6天 | 函数式自动微分
神经网络的训练主要使用反向传播算法,模型预测值(logits)与正确标签(label)送入损失函数(loss function)获得loss,然后进行反向传播计算,求得梯度(gradients),最终更新至模型参数(parameters)。自动微分能够计算可导函数在某点处的导数值,是反向传播算法的一般化。自动微分主要解决的问题是将一个复杂的数学运算分解为一系列简单的基本运算,该功能对用户屏蔽了大量的求导细节和过程,大大降低了框架的使用门槛。原创 2024-06-29 18:56:40 · 878 阅读 · 0 评论 -
昇思25天学习打卡营第5天 | 神经网络构建
本文主要介绍了昇思框架神经网络的构建,包括神经网络的组成和模型参数的详解。原创 2024-06-28 17:35:19 · 944 阅读 · 0 评论 -
昇思25天学习打卡营第4天 | 数据变换Transforms
通常情况下,直接加载的原始数据并不能直接送入神经网络进行训练,此时我们需要对其进行数据预处理。MindSpore提供不同种类的数据变换(Transforms),配合数据处理Pipeline来实现数据预处理。所有的Transforms均可通过map方法传入,实现对指定数据列的处理。提供了面向图像、文本、音频等不同数据类型的Transforms,同时也支持使用Lambda函数。本文主要介绍了这些变换的使用方法。原创 2024-06-27 12:12:11 · 779 阅读 · 0 评论 -
昇思25天学习打卡营第3天 | 数据集
本文主要介绍了AI框架MindSpore中的数据集处理相关技术。主要包括数据集的加载、迭代、常用操作和自定义数据集的方法原创 2024-06-26 17:56:09 · 963 阅读 · 0 评论 -
昇思25天学习打卡营第2天 | 张量
今天主要学习了张量(Tensor)的基本概念和用法。张量是多线性函数,用于表示矢量、标量和其他张量之间的线性关系。在机器学习中,张量用于存储和操作数据,如权重、偏置和激活函数输出。学习了张量的创建方式、属性、运算、与NumPy的转换以及稀疏张量。原创 2024-06-25 23:25:03 · 710 阅读 · 0 评论 -
昇思25天学习打卡营第1天 | 基本介绍和快速入门
本文介绍了昇思MindSpore框架,涵盖基本概念、总体架构和执行流程,以及如何使用昇腾AI硬件进行深度学习模型训练和评估。通过实例,从数据处理、神经网络构建到模型训练和评估,展示整个流程。通过代码和解释详细展示了如何进行数据处理、构建全连接神经网络、编写正向计算函数、创建反向传播的梯度计算函数、编写训练函数、评估模型训练结果,并保存和加载模型的模型训练全过程原创 2024-06-25 00:16:13 · 376 阅读 · 0 评论