- 博客(29)
- 资源 (8)
- 收藏
- 关注
RSS订阅原创 昇思25天学习打卡营第17天|LLM-基于MindSpore的GPT2文本摘要
> wte 嵌入层：dim[in, out]=[21128, 768] ，即使用了 21128 个词汇，每个词汇映射到一个768 维的向量。层，自注意力机制，用于计算输入序列中不同位置的注意力权重。，多层感知机，用于对自注意力层的输出进行进一步的非线性变换。此次活动的 notebook 只可以连续运行8小时，此次目的也不是性能优化，故此，我将训练数据减少到了1/10，此时的部分输出如下。>> layers h 隐网络结构层：Transformer模型的主体，包含 12 个 GPT2Block。
2024-07-21 23:11:29
393
原创 昇思25天学习打卡营第16天|LLM-MindNLP ChatGLM-6B StreamChat
但是可以看到model的打印结果，看到chatglm2 和 chatglm3 的模型结构相比1版本，词表扩充了2w+。：dim[in, out]=[130528, 4096] ，即使用了 130528 个词汇，每个词汇映射到一个4096维的向量。，多层感知机，用于对自注意力层的输出进行进一步的非线性变换。如下图，chatglm2-6b model 的打印结果。加载智谱清言的chatglm模型权重文件（目前有4个版本），本次主要尝试了chatglm-6b。，是transformer 结构，是模型的核心部分。
2024-07-21 21:24:58
778
原创 昇思25天学习打卡营第14天|LLM-文本解码原理--以MindNLP为例
限制输出序列的最大长度为50个token。top-p=0.95，top-p采样表示在每一步生成token时，只从概率分布中累计概率达到95%的token中进行采样，有助于保持生成文本的流畅性和质量，同时允许一些低概率的token被选中，从而增加多样性。表示禁用了top-k采样，因为在top-k采样中，通常是从概率最高的k个token中随机选择一个token作为下一个输出，而这里设置为0表示不限制token的选择，实际上这将等同于使用 softmax 概率分布直接进行采样。这有助于提高生成文本的多样性。
2024-07-17 21:40:42
880
原创 昇思25天学习打卡营第13天|LLM-基于MindSpore实现的GPT对话情绪识别
1、数据集准备：IMDB数据集，从 https://mindspore-website.obs.myhuaweicloud.com/notebook/datasets/aclImdb_v1.tar.gz 下载数据集并按照7:3切分为训练和验证集。5、开始训练：创建训练器 （mindnlp._legacy.engine.Trainer）并训练，该训练器可以接收模型、训练数据集、评估数据集、评估指标、训练轮数、优化器、回调函数列表以及是否启用JIT编译的选项。评估器使用了之前定义的预训练模型和评估指标。
2024-07-17 01:06:27
848
原创 昇思25天学习打卡营第12天|LLM-基于MindSpore实现的BERT对话情绪识别
predict("家人们咱就是说一整个无语住了 绝绝子叠buff")predict("起开 我要开始发功了")
2024-07-17 01:03:41
1311
原创 昇思25天学习打卡营第11天|NLP-LSTM-CRF序列标注
首先根据公式(3)，计算正确标签序列所对应的得分，需要注意，除了转移概率矩阵 P 外，还需要维护两个大小为 |𝑇| 的向量，分别作为序列开始和结束时的转移概率。从第0个至第i 个Token对应概率最大的序列，只需要考虑从第0个至第(i-1) 个Token对应概率最大的序列，以及从第i 个至第 (i-1) 个概率最大的标签即可。因此我们逆序求解每一个概率最大的标签，构成最佳的预测序列。考虑到输入序列可能存在 Padding 的情况，CRF的输入需要考虑输入序列的真实长度，因此除发射矩阵和标签外，加入。
2024-07-16 21:24:09
1040
原创 昇思25天学习打卡营第9天|MindSpore静态图加速
在Graph模式下，python编译器不执行python代码，而将Python代码代码编译成静态计算图，然后执行静态计算图。在静态图模式下，MindSpore通过源码转换的方式，将Python的源码转换成中间表达IR（Intermediate Representation），并在此基础上对IR图进行优化，最终在硬件设备上执行优化后的图。MindSpore提供了两种切换为图模式的方式，分别是基于装饰器的开启方式以及基于全局context的开启方式。，通过图优化等技术提高运行速度。在图模式下，可以通过使用。
2024-07-13 11:55:11
805
原创 昇思25天学习打卡营第7天|模型训练
SGD优化器训练结果如下：同参数设置下，Adam优化器训练结果如下：同参数设置下，RMSProp 优化器训练结果如下： 同参数设置下，AdamWeightDecay 优化器训练结果如下：一般分为四个步骤 ：超参（Hyperparameters）是可以调整的参数，可以控制模型训练优化的过程，不同的超参数值可能会影响模型训练和收敛速度。目前深度学习模型多采用批量随机梯度下降算法进行优化，随机梯度下降算法的原理如下： 其中，公式中，𝑛 是批量大小（batch size），η 是学习率（learning rate
2024-07-10 20:55:04
666
原创 昇思25天学习打卡营第6天|函数式自动微分
通常将函数的loss设置为函数的第一个输出，其他的输出即为辅助数据。如下代码中，mindspore.grad 的求导索引为 (2, 3)，表示 function1 函数的参数 w 和 b。损失函数（代价函数）是用来衡量模型预测值与真实值之间差异的函数，不同的损失函数适用于不同类型的问题。，通过调用 mindspore.grad 函数，生成求导函数，用于计算给定函数的梯度或微分函数。> 使用 grad 获得微分函数是一种函数变换，即输入为函数，输出也为函数。为了优化模型参数，需要求参数对loss的导数，即。
2024-07-09 21:21:23
1368
原创 昇思25天学习打卡营第5天|MindSpore网络模型构建
MindSpore中，Cell类是构建所有网络的基类。如下代码，__init__方法中进行子Cell的实例化和状态管理，在construct方法中实现Tensor操作。方法不可直接调用。如下网络结构：先将Tensor数据展平到28*28维，再构建 [512，28*28] 的全连接层权重矩阵，经过激活函数后，再构建 [512，512] 的全连接层权重矩阵，再次经过激活函数后，再构建 [512，10] 的全连接层权重矩阵后，输出，nn.ReLU(),nn.ReLU(),
2024-07-08 22:48:20
762
原创 昇思25天学习打卡营第4天|MindSpore数据集和数据变换
下面自定义的可随机访问数据集是实现了 `__getitem__` 和 `__len__` 方法的数据集，表示可以通过索引/键直接访问对应位置的数据样本。
2024-07-07 18:04:44
704
原创 昇思25天学习打卡营第3天|MindSpore张量
说明：本次打卡因远程notebook无法打卡，本地运行，本地安装都是python3.10以上的环境，安装mindspore时发现没有适配的版本，新建python3.9环境后可正常安装，算是一个版本的问题记录吧。shape 支持传入 list、tuple、 int。1）支持的数据类型有Tensor、float、int、bool、tuple、list、numpy.adarray。算数运算、线性代数、矩阵处理（转置、标引、切片）、采样等。此种表示方式更直接，但是目前仅仅支持二维矩阵，类定义头如下。
2024-07-07 16:43:02
1269
原创 昇思25天学习打卡营第2天|MindSpore快速入门
涉及到 mindspore.nn 类。例如用户可继承nn.Cell类来自定义网络结构，其中的construct类函数包含数据（Tensor）的变换过程。。包括损失函数、优化器等。如 nn.CrossEntropyLoss() 、nn.SGD(model.trainable_params(), 1e-2)
2024-07-06 20:12:47
978
原创 昇思25天学习打卡营第1天|初识MindSpore
昇思MindSpore 代码：https://gitee.com/mindspore/mindspore 、 https://github.com/mindspore-ai/mindspore。支持python编程范式、三层封装级别的友好API、通过变量设置实现动态图和静态图统一的编码方式、支持科学计算常用的微分函数等数学原生编程表达，以满足不同类型的开发者。- 昇思MindSpore 官网：包括安装、教程、文档、社区、资源下载和资讯栏目等（https://www.mindspore.cn/）。
2024-07-06 16:46:31
443
原创 实验：CentOS 7下的4个DNS网络服务搭建过程 【基本搭建过程、主从、主缓、分离解析】
不经提示，所有机器均在VMware上使用CentOS 7完成。一，基本实验：DNS服务搭建环境准备：DNS server（192.168.137.133）： /etc/named.conf 主配置文件 /etc/named.rfc1912.zones 区域配置文件 /var/named/*.localhost 数据文件 /var/named/*.loopback 数据文件Web server：httpd（192.168.137.134）：...
2020-08-05 15:26:47
795
原创 CentOS 7环境下安装MariaDB的三种方式：官方yum源安装、二进制包安装、源码安装。【附多实例安装】
目录一，官方yum源格式安装过程二、通用二进制格式安装mariaDB过程（含逻辑卷创建过程）三、源码编译安装mariaDB过程四、多实例安装mariaDB，以yum源安装为例参考我的环境：VM中的三台CentOS 7虚拟机。实验内容：centos7（192.168.137.133）进行yum源配置安装和多实例安装实验；centos7（192.168.137.131）上二进制包安装；centos7（192.168.137.134）上源码安装。准备文件：mariadb.c.
2020-08-04 00:04:21
3914
原创 Python 爬虫实战 4
目录Requests 模块安装 Requests 模块项目：用 requests 实现云栖社区博文爬虫实战分析过程编写代码爬取结果Scrapy 模块安装 Scrapy配置 pywin32Scrapy 指令实战（1）创建爬虫项目(2) 进入新建爬虫项目，用爬虫模板创建一个爬虫项目：scrapy genspider -t basic fst shuqi.com（3）运行爬虫文件：scrapy crawl fstScrapy 爬虫项目编写基础项目：爬取.
2020-05-21 21:36:09
989
原创 Python 爬虫实战 3
目录抓包方法FiddlerFiddler 工作原理安装方法配置 Fiddler项目：使用抓包分析获取腾讯视频评论数据开始抓包分析抓包过程分析按照上面流程，每次触发一个页面，观察复制的 url 的规律代码部分第三讲：抓包分析技术精讲（课程笔记）抓包方法方法1：进入网页，F12 --->Network，访问某个网页，出现很多数据包，我们要获取和分析的就是这些数据包【如下图】。但是这样抓包的缺点：杂内容多，跳转快速，不太好做分析，因此...
2020-05-18 22:50:40
369
1
原创 Python 爬虫实战 2
目录实战前的预备内容实战内容：糗事百科段子内容爬取。爬虫前分析课程链接：https://edu.aliyun.com/course/1994?spm=5176.8764728.aliyun-edu-course-tab.1.5cb142c4uAZeNz&previewAs=member&redirectStatus=0实战前的预备内容1. 爬到 内存 中： 打开--读取---解码【忽略解码容易出错的细节问题】data = urllib.request..
2020-05-16 17:00:58
357
原创 Python 爬虫实战 1
正则表达式 + XPath 表达式序正则表达式概念基础1基础2基础3基础4Python 代码测试XPath表达式概念Python 代码测试后注源：参加阿里云的Python 爬虫实战课。序本文是课程 “Python网络爬虫快速入门到精通“ 的听课笔记 + 自己跟随的操作实战。正则表达式概念基础1全局匹配函数使用格式re.compile(正则表达式).findall(源字符串)普通字符 正常匹配 \n 匹配换行符 \t
2020-05-16 16:26:48
276
原创 华为云 ModelArts 操作总结（华为云开发者青年班--AI实战营，黑客松大赛）
序参加了华为云AI青年班，学习了如何操作华为云 ModelArts 控制台实现自己的模型管理、OBS数据存储系统管理（可下载 OBS Browser+，方便上传下载数据，但不用的时候还是要及时关掉，个人感觉比较占用CPU处理）、模型调优等。以下通过一些典型内容总结了华为云 ModelArts 控制台 的主要功能。OBS 数据存储、模型调优等如果认为有必要会再写出来，其实，OBS桶就是一个有收费的存储站，用它可以很方便和 ModelArts 里面的数据文件‘通信’---比如，训练模型的输出...
2020-05-13 19:40:48
6425
1
原创 Visual Studio 2015 + Qt 5.14.2 的安装、配置和测试（win10）
目录准备工作Qt 5.14.2Win10-SDKQt-vsaddin-msvc2015-2.4.3Qt 安装过程Qt Creator 配置win10 的调试器(debugger) 安装与配置: windbgQt Creator 配置调试器：windbgQt Creator 测试使用Qt 在 VS2015 中的配置与测试使用Qt 在 VS2015 配置VS2015 中安装Qt 插件VS2015 中配置 Qt 5.14.2Qt 在 VS2015 的测试使用
2020-05-12 19:34:19
15020
11
原创 Import Error：Jupyter Notebook 中无法运行虚拟环境（pytorch、tensorflow）
解决步骤：终端Anaconda Prompt，管理员权限运行。 conda install nb_conda conda install ipykernel conda activate torch 启动：jupyter notebook D:\....\JupyterNotebook_learn 还是失败，原因：torch环境下没有安装jupyter notebook。解决方法：打...
2020-05-04 12:54:13
2194
3
原创 优化算法选择：SGD、SGDM、NAG、Adam、AdaGrad、RMSProp、Nadam
目录优化算法通用框架SGD 系列：固定学习率的优化算法SGDSGD (with Momentum) = SGD-MSGD（with Nesterov Acceleration）= NAG自适应学习率的优化算法AdaGradAdaDelta / RMSPropAdam / NadamAdamNadamAdam 两宗罪1. 可能不收敛2.可能...
2020-04-30 20:34:44
4721
1
原创 Anaconda3 + Tensorflow-2.1.0 + Tensorflow-1.14.0 的安装配置（win10)
目录下载 AnacondaAnaconda 安装 + 环境配置配置 Anaconda 环境变量检验：安装成功新增Anaconda 中国镜像配置环境最新的 tensorflow-2.1.0创建新环境 tensorflow2新环境下安装tensorflow-2.1.0退出环境测试：tensorflow-2.1.0安装成功安装 tensorflow...
2020-04-30 14:49:04
2484
2
原创 PyTorch 1.0.0安装（Linux)
目录起：查看服务器的CUDA版本 和 显存信息PyTorch 1.0.0 安装创建一个pytorch环境：torch1进入torch1环境，安装 pytorch 1.0.0进入PyCharm 配置 PyTorch 1.0.0安装 matplotlib检查：所有环境已经配置好其他问题：ImportError: cannot import name ‘PILLOW_...
2020-04-30 13:28:00
3146
Urllib爬虫实战.zip
2020-05-16
正则表达式基础.zip
2020-05-16
自动学习创建：垃圾分类.zip
2020-05-14
自动学习创建：零代码美食分类模型开发.zip
2020-05-14
训练作业创建：垃圾分类训练作业实验.zip
2020-05-14
数据集创建：使用ResNet50预置算法基于海量数据训练美食分类模型.zip
2020-05-14
Notebook：Yolo3物体检测.zip
2020-05-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人