- 博客(85)
- 收藏
- 关注
RSS订阅原创 LLM模型之基于MindNLP和ChatGLM-6B实现一个聊天应用
本文介绍了如何利用MindNLP和ChatGLM-6B构建一个简单的聊天应用，包括环境配置和代码开发。文章详细说明了依赖安装、模型加载及调整模型参数与提示词进行交互的过程，展示了如何获取模型的响应。
2024-07-28 18:45:50
220
原创 文本解码原理--MindNLP
本文介绍了自回归语言模型的原理及文本生成方法，包括贪心搜索、Beam搜索和采样等。贪心搜索选择每个时间步最高概率的词，容易错过潜在高概率序列；Beam搜索保留多个可能的词序列，能改善结果但仍存在重复问题。采样方法通过随机选择词生成多样化文本，但可能导致文本连贯性不足。整体来看，这些方法在文本生成中各有优缺点，需要根据实际应用进行选择和调整。
2024-07-27 19:07:33
344
原创 LLM模型之基于MindSpore通过GPT实现情感分类
在情感分类任务中，首先通过`load_dataset`函数加载IMDB数据集，该数据集分为训练集和测试集，以确保有效利用标注好的电影评论进行模型训练和评估。在此过程中，还对数据进行预处理，包括去除无关字符和标准化文本格式，以提高模型效果。接下来，使用GPT Tokenizer对IMDB数据集中的评论进行分词，这一过程不仅将文本分割成单词或子词，还添加必要的特殊标记，如开始标记（<bos>）和结束标记（<eos>），确保模型能够正确理解文本结构和含义。
2024-07-26 23:23:17
213
原创 基于MindSpore Quantum的Grover搜索算法和龙算法
Grover搜索算法是量子计算中一种利用量子状态的叠加性进行并行计算并实现加速的算法。无序数据库搜索问题是Grover搜索算法解决的问题，该算法能以平方加速度找到目标元素。Grover搜索算法通过振幅放大的方法来提高找到目标态的概率。龙算法是在Grover算法基础上改进的量子精确搜索算法,能精确找到目标态。
2024-07-25 22:42:49
299
原创 LLM模型与实践之基于MindSpore的GPT2文本摘要
使用mindnlp库实现GPT2模型进行文本摘要，采用BertTokenizer进行分词, 使用线性预热和衰减的学习率策略进行模型训练. 通过多种数据预处理和模型优化技术, 训练并部署模型进行文本摘要推理.
2024-07-24 22:16:56
284
原创 LLM模型与实践之基于 MindSpore 实现 BERT 对话情绪识别
BERT是一种由Google于2018年发布的新型语言模型，它是基于Transformer中的Encoder并加上双向的结构。BERT模型采用了Masked Language Model和Next Sentence Prediction两种方法进行预训练，以捕捉词语和句子级别的representation。预训练之后，BERT可以用于下游任务的Fine-tuning，比如文本分类、相似度判断等。此外，BERT还可以应用于对话情绪识别，帮助企业改善产品的用户交互体验。import os。
2024-07-23 17:13:05
733
原创 自然语言处理之RNN实现情感分类
使用MindSpore框架实现基于RNN的情感分类任务。包括数据集准备、模型构建、训练与评估、模型保存和预测等全流程。重点介绍了在数据预处理、模型定义和训练细节方面的实现方法。
2024-07-22 22:45:34
614
原创 自然语言处理之LSTM+CRF序列标注
主要介绍使用MindSpore实现序列标注任务的条件随机场(CRF)模型。从公式推导到具体代码实现,详细介绍了CRF层的前向训练部分、动态规划求解Normalizer、Viterbi算法寻找最优路径等关键步骤。最后构建了一个BiLSTM+CRF模型进行命名实体识别任务的训练和预测,并展示了训练及预测结果。
2024-07-21 22:21:33
520
原创 生成式之Pix2Pix实现图像转换
本文介绍了如何使用Pix2Pix神经网络模型实现图像转换任务。文章首先介绍了Pix2Pix的基础原理,包括生成器和判别器的网络结构和训练目标函数。然后详细讲解了如何使用MindSpore框架搭建Pix2Pix生成器和判别器网络,以及如何进行模型训练和推理。最后展示了训练后的模型在测试集上的生成效果。
2024-07-20 23:07:30
252
原创 生成式之Diffusion扩散模型
Diffusion模型通过正向扩散过程逐步向图像添加高斯噪声，然后通过反向去噪过程，利用神经网络逐步去除噪声，最终生成实际图像。这两个过程在有限的时间步长内完成，最终得到各向同性的高斯分布。扩散模型是一种基于噪声逐步去噪的生成模型,与其他生成模型如变分自编码器、生成对抗网络等相比,扩散模型较为简单,但在图像、音频、视频等领域取得了较好的效果。解释了扩散模型的前向和逆向过程,并给出了基于MindSpore框架的实现代码。
2024-07-19 23:00:13
435
原创 生成式之DCGAN生成漫画头像
使用DCGAN（深度卷积生成对抗网络）生成动漫头像图片。包括数据准备与处理、生成器网络结构、判别器网络结构、损失函数和优化器设置、模型训练过程以及最终生成的动漫头像图片展示。
2024-07-18 22:24:28
283
原创 生成式之CycleGAN图像风格迁移互换
CycleGAN(循环对抗生成网络)模型,该模型可以实现无监督的图像风格迁移。文章从模型原理、结构、损失函数以及训练过程等方面进行了详细的介绍和代码实践。CycleGAN 通过学习两个领域之间的映射关系来实现图像在不同领域之间的自动转换,相比于传统需要成对图像的方法更加灵活实用。
2024-07-17 23:13:28
250
原创 应用实践之基于MobileNetv2的垃圾分类
MobileNet是2017年由Google团队提出的轻量级CNN网络，专注于移动端、嵌入式或IoT设备。它使用深度可分离卷积的思想来减小模型参数与运算量，同时引入宽度系数和分辨率系数以满足不同应用场景的需求。MobileNetV2则采用倒残差结构和Linear Bottlenecks来优化模型，提高准确率并缩小模型尺寸。
2024-07-16 21:56:56
262
原创 实践之K近邻算法实现红酒聚类
MindSpore实现了KNN算法，用于在wine数据集上解决3分类问题。该算法能有效地根据酒的13种属性判断出酒的品种。
2024-07-15 21:22:39
482
原创 应用实践之基于MindNLP+MusicGen生成自己的个性化音乐
MusicGen是基于单个语言模型（LM）的音乐生成模型，使用文本描述或音频提示生成高质量的音乐样本。它基于Transformer结构，包括文本编码器模型和音频压缩模型，以及一个解码器来预测离散的隐形状态音频token。与传统方法不同，MusicGen采用单个stage的Transformer LM结合高效的 token 交织模式，取消了多层级的多个模型结构，使得其能够生成高质量音乐样本，并提供更好的生成输出控制。
2024-07-14 21:27:30
281
原创 计算机视觉之Vision Transformer图像分类
近些年，随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性，它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。本案例演示了如何在ImageNet数据集上训练、验证和推断ViT模型。
2024-07-13 22:55:12
736
原创 计算机视觉之SSD目标检测
SSD(Single Shot MultiBox Detector)是Wei Liu在ECCV 2016提出的一种目标检测算法。它采用了多尺度的特征图来检测不同大小的目标,并利用anchor boxes策略有效地预测边界框和类别。SSD算法在COCO数据集上取得了较好的性能,在网络复杂度和计算量方面也优于之前的算法。本文详细介绍了SSD算法的网络结构、特点、模型训练以及评估过程。
2024-07-12 19:15:00
1220
原创 计算机视觉之ShuffleNet图像分类
ShuffleNet 是一种计算高效的轻量级 CNN 模型,主要应用在移动端。它的核心设计是引入了 Pointwise Group Convolution 和 Channel Shuffle 两种操作,在保持精度的同时大大降低了模型的计算量。
2024-07-11 16:41:50
1014
原创 计算机视觉之ResNet50图像分类
ResNet50网络是由微软实验室的何恺明提出，获得了ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前，传统的卷积神经网络堆叠到一定深度时会出现退化问题。在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图表明，随着网络加深，其误差并没有如预想的一样减小。ResNet网络的提出解决了这一问题。ResNet50是一种基于残差网络结构的深度卷积神经网络模型，可用于图像分类任务。
2024-07-10 22:16:25
1183
原创 卷积神经网络之ResNet50迁移学习
使用迁移学习方法对ImageNet数据集中的狼和狗图像进行分类的案例。首先介绍了数据集的下载和预处理操作,然后使用ResNet50模型进行训练和验证,最后保存了精度最高的模型参数。同时也展示了预测结果的可视化以及固定特征进行训练的方法。
2024-07-09 19:43:29
469
原创 全卷积网络之FCN图像语义分割
FCN是一种用于图像分割的端到端的深度学习方法，通过全卷积神经网络实现像素级的预测，主要使用卷积化、上采样和跳跃结构等技术来实现图像分割。通过将全连接层转换为卷积层，利用上采样和跳跃结构获取更多的局部和全局信息，得到与原图大小相等的分割结果。FCN提出了使用全卷积层进行端到端图像分割的方法，相比传统的CNN方法，具有接受任意大小输入图像和更高效的优点。然而，FCN仍存在两个问题：分割结果不够精细，特别是在边界处；而且没有充分考虑像素与像素之间的关系，缺乏空间一致性。
2024-07-08 20:38:12
340
原创 机器学习训练之使用静态图加速
本文介绍了MindSpore中动态图(PyNative)和静态图(Graph)两种运行模式的特点和使用场景。动态图更适合模型调试和快速迭代,静态图则能提供更高的性能。详细阐述了切换运行模式的方法,包括使用jit装饰器对部分函数进行图编译加速,以及利用JitConfig选项进一步优化静态图的编译和执行。同时也提醒了静态图编程中的语法限制,并介绍了一些高级编程技巧以提高性能和稳定性。总的来说,MindSpore提供了灵活的动态图和高性能的静态图两种选择,开发者可根据具体需求进行合理选择和应用。
2024-07-07 22:27:56
414
原创 机器学习之保存与加载
这篇介绍了，在MindSpore中保存和加载模型的方法,包括使用save_checkpoint保存模型参数,load_checkpoint和load_param_into_net加载参数,以及使用export导出MindIR格式模型并通过load接口加载进行推理。还介绍了这些保存和加载模型的核心API,为开发者提供了在MindSpore中管理和复用模型的实用技巧。
2024-07-06 22:59:16
844
原创 机器学习之模型训练
nn.ReLU(),nn.ReLU(),从网络构建中加载代码，构建一个神经网络模型。超参数是可以调整的参数，可以控制深度学习模型训练优化的过程，包括训练轮次、批次大小和学习率等。这些超参数的取值会影响模型的训练和收敛速度，其中学习率在迭代过程中控制模型的学习进度。模型训练一般包括构建数据集、定义神经网络模型、定义超参数、损失函数和优化器，以及输入数据集进行训练和评估。
2024-07-05 18:50:21
476
原创 机器学习之函数式自动微分
通过一个简单的单层线性变换模型演示了自动微分的基本原理和用法,包括计算图的构建、微分函数的定义以及梯度计算。然后讨论了在神经网络构建过程中如何利用函数式自动微分进行反向传播。
2024-06-25 19:40:41
401
原创 机器学习之网络构建
当我们定义神经网络时，可以继承nn.Cell类，在__init__方法中进行子Cell的实例化和状态管理，在construct方法中实现Tensor操作。我们可以通过输入数据直接调用模型，得到一个包含每个类别原始预测值的十维Tensor输出。这节主要使用MindSpore框架构建简单的神经网络模型。首先介绍了继承nn.Cell类定义模型类的方法,在__init__和construct方法中实现网络结构。
2024-06-24 19:17:41
536
原创 神经网络训练之数据变换 Transforms
MindSpore提供了多种适用于图像、文本等不同类型数据的数据预处理变换算子,包括通用变换、Vision Transforms和Text Transforms。这些变换可以灵活组合使用,构建出复杂的数据处理流水线,为下游的模型训练做好数据准备。总的来说,MindSpore的数据变换功能丰富全面,可以灵活地满足不同数据类型的预处理需求,为机器学习模型的训练做好铺垫。
2024-06-23 22:45:40
548
原创 深度学习之数据集 Dataset总结
mindspore.dataset模块提供了加载常用公开数据集和标准格式数据集的API。对于MindSpore暂不支持直接加载的数据集，可以通过构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集，然后通过GeneratorDataset接口实现自定义方式的数据集加载。GeneratorDataset支持通过可随机访问数据集对象、可迭代数据集对象和生成器构造自定义数据集。这一节主要是针对数据集的一个处理。先对数据集进行一个加载迭代，进行一些常规的一些操作。最后自定义一些相关的数据集。
2024-06-22 23:20:27
421
原创 张量 Tensor学习总结
张量是一种多线性函数，用于表示矢量、标量和其他张量之间的线性关系，其在n维空间内有n^r个分量，每个分量都是坐标的函数。张量在坐标变换时也会按照某些规则作线性变换，是一种特殊的数据结构，在MindSpore网络运算中起着重要作用。# 实验环境已经预装了mindspore==2.2.14，如需更换mindspore版本，可更改下面mindspore的版本号!!
2024-06-21 20:42:21
459
原创 通过MindSpore API实现深度学习模型
简单的理解这个过程，首先加载数据集，配置网络，然后进行模型训练，经过不断的训练提高准确度，尝试去保存模型，方便下次使用，然后试着加载模型。看看实际操作结果如果。整个过程顺风顺水还是非常方便的操作。
2024-06-20 19:46:36
964
原创 昇思MindSpore全场景深度学习框架总结
MindSpore是一个全场景深度学习框架，旨在实现易开发、高效执行、全场景统一部署三大目标，具体包括API友好、调试难度低、计算效率、数据预处理效率和分布式训练效率高以及支持云、边缘和端侧场景。昇思MindSpore的各个扩展功能模块，包括模型库、扩展库、科学计算、全场景统一API、数据处理层、AI编译器、全场景运行时、可视化调试调优工具和安全增强库等。
2024-06-19 20:15:30
446
原创 double精度丢失问题
在Java中，使用double类型时可能会遇到精度丢失的问题。这是由于double类型是一种浮点数类型，在表示某些小数时可能会存在精度损失。这种情况通常是由于浮点数的二进制表示法无法准确地表示某些十进制小数，导致精度丢失。为了避免这种问题，可以考虑使用BigDecimal类来处理精确的十进制数值运算，因为BigDecimal类可以提供更高的精度和控制。另外，尽量避免直接比较两个double类型的值是否相等，而是考虑使用误差范围或者BigDecimal的compareTo方法来进行比较操作。
2024-02-09 10:15:52
1077
原创 2023 总结对AI的总结和展望
各种测评视频大量散布在网络上面，一开始我只是认为他只是一个聊天小助手比较智能，跟普通的聊天机器人没有特别大的差别，所以也就没有引起特别大的重视，直到越来越多的用户开始测评的时候，然后才发现他不太像一个小孩子，他又有点像一个大学生的水平，它可以作为一个工作中的一些助手，平常你可能百度需要查好几个网页的东西，现在你只需要立即问他就能最快给你一些想要的一些信息，渐渐的我也开始重视起来，好奇他到底底层为什么可以实现解析人的语言，从而去执行某一些逻辑。又回到马斯洛的需求模型，每个人真的会追求最高的目标自我实现吗？
2024-01-19 08:50:14
546
原创 java使用jsch处理软链接判断是否文件夹
这一次主要是碰到一个问题。因为使用jsch去读取文件的时候，有一些文件它是使用软链接制作的一个映射。因为这里面有一个问题。如果它是软链接你就无法判断他到底是文件。还是文件夹？因为他没有提供可以直接读取的方法，用权限信息去判断，文件和文件夹都是l开头，所以这一篇博客的主要目的是介绍如何去处理软链接。判断是实际的文件还是文件夹。一开始我都打算直接用文件类去读取这个路径，去判断它到底是否方是否是文件或者文件夹。但是这样就会有一个问题。
2024-01-18 23:29:21
748
原创 使用Apache Spark处理Excel文件的简易指南
在日常的工作中，表格内的工具是非常方便的x，但是当表格变得非常多的时候，就需要一些特定的处理。Excel作为功能强大的数据处理软件，广泛应用于各行各业，从企业管理到数据分析，可谓无处不在。然而，面对大型且复杂的数据，Excel的处理能力可能力不从心。对此，我们可借助Apache Spark这一分布式计算框架，凭借其强大的计算与数据处理能力，快速有效地处理Excel数据。这些数据进行一个分析，整理，筛选，排序。分析整理有用的内容。虽然仅处理基础数据，但在集群环境下，Spark展现出优秀的大规模数据处理能力。
2024-01-18 17:58:15
1038
原创 maven解决包冲突
这边篇文章主要是来讲解我们日常开发中碰到一些Maven包冲突的一个解决方案。如何去一步一步进行排查，然后找到思路解决某一个固定的痛点和问题。在我们日常的导入包当中，可能不经意间就会导入一些相同类名的包或者路径的包。因为不同的包，它可能依赖某一个版本的可能不是同一个版本，这样就会导致一个冲突产生。可能版本不一致也有一定的原因。最后我想说的是当发现一个问题的时候，我们需要逐步拆解，一步一步找到我们需要处理的问题的点。不得不说idea这个编辑器还是非常强大的。今天这篇文章主要是对我的一个解决冲突的一个思路的回顾。
2024-01-17 10:39:34
1205
原创 手把手教你用Python实现IP子网计算
这里不得不又拿出了就以前的计算机网络原理，翻过来看一下。其实这里面也分为这种大类首先a类地址它的前缀长度为8位。然后是b的地址，它的前缀长度为16位，最后才是c类地址，它的前最长度为24位。基本上我们所用到的地址大部分都是c类地址。基本上都是192.168开头的。就一个局域网进行一个规划的时候，首先你要考虑到机器的数量，可以分配的IP数量。这就涉及到一个网络前缀长度。也就是子网掩码。通常来说，网络前最长度越长，它能分配的IP数就越少。这个可以根据你自己的需要来进行计算。详细的计算方公式上面已经提供了。
2024-01-05 00:33:33
701
原创 C++实现令牌桶过滤算法
令牌桶算法通过限制令牌桶的固定容量，实现对资源以及流量的延迟控制。请求者需先获取令牌，方可执行动作。若令牌桶内具有足够令牌便可通过消耗相等数量放过请求；而若令牌不足，则会拒绝请求。该算法具备平滑的资源使用率控制功能，有效避免突发流量对系统的破坏。此外，令牌桶算法还适用于流量控制、预防DDoS攻击及防止资源过载等多种场景。同时，因其能根据需求动态调整填充速率，故在各种流量模式下均可适用。
2023-12-27 21:54:03
575
原创 推荐一款神奇的火山写作软件
最后我想说的是，这是一款非常适合文案写作者的一款好的辅助工具。他不仅能给你提供相应的一些内容或写文本认识，还可以对你的内容进行一个总结。对其中的一些关键点进行一个分析梳理。这是一个非常好的榜首。如果你也觉得非常的好奇，那你可以去尝试一下，真的非常的好用。
2023-12-24 19:33:41
990
原创 YashanDB个人版体验总结
YashanDB数据库具有多项功能特性。首先，它是一个分布式数据库，支持水平扩展，能够将数据分散到多个节点上，从而提高系统的可靠性和性能。其次，YashanDB数据库具备高可用性，支持主从复制和自动故障转移，确保系统始终可用。此外，YashanDB数据库还注重高性能，采用了多种优化技术，如内存计算、异步IO和零拷贝等，以提升系统的性能。另外，YashanDB数据库支持ACID事务，保证数据的一致性和可靠性。
2023-12-21 22:20:42
480
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人