- 博客(257)
- 收藏
- 关注
RSS订阅原创 `RunUMAP` 函数在 Seurat 中可以使用不同的数据进行计算
RunUMAP函数在 Seurat 中可以使用不同的数据进行计算，具体取决于您传递给它的参数。即使没有显式地运行RunUMAP仍然可以计算 UMAP，因为它会自动构建邻居图（neighbor graph）。
2024-10-22 15:31:06
359
原创 jupyter DatabaseError: database disk image is malformed 解决办法
DatabaseError: database disk image is malformed 解决办法重新启动jupyter lab 然后它自己会自动生成~/.local/share/jupyter/nbsignatures.db 就解决了问题import os。
2024-10-18 10:44:10
719
原创 python+selenium实现自动联网认证，并实现断网重连
python+selenium实现自动联网认证，并实现断网重连@echo off要使自动登录脚本在系统重启后自动运行，你可以使用Windows的任务计划程序来设置。
2024-09-21 14:36:20
1027
原创 mindspore打卡25天之Pix2Pix实现图像转换
Pix2Pix是基于条件生成对抗网络（cGAN, Condition Generative Adversarial Networks ）实现的一种深度学习图像转换模型，该模型是由Phillip Isola等作者在2017年CVPR上提出的，可以实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。生成器和判别器。传统上，尽管此类任务的目标都是相同的从像素预测像素，但每项都是用单独的专用机器来处理的。
2024-07-13 14:46:05
477
原创 mindspore打卡25天之DCGAN生成漫画头像
在下面的教程中，我们将通过示例代码说明DCGAN网络如何设置网络、优化器、如何计算损失函数以及如何初始化模型权重。在本教程中，使用的共有70,171张动漫头像图片，图片大小均为96*96。
2024-07-12 16:55:28
983
原创 mindspore打卡第24天之LSTM+CRF序列标注
序列标注指给定输入序列，给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取，包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。输入序列清华大学座落于首都北京输出标注BIIIOOOOOBI如上表所示，清华大学和北京是地名，需要将其识别，我们对每个输入的单词预测其标签，最后根据标签来识别实体。
2024-07-12 11:33:28
1021
原创 mindspore打卡23天之基于MobileNetv2的垃圾分类函数式自动微分
MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络，MobileNet网络使用深度可分离卷积（Depthwise Separable Convolution）的思想在准确率小幅度降低的前提下，大大减小了模型参数与运算量。并引入宽度系数 α和分辨率系数 β使模型满足不同应用场景的需求。
2024-07-11 17:22:00
797
原创 mindspore打卡23天之微调本地MindNLP ChatGLM-6B StreamChat
本案例基于MindNLP和ChatGLM-6B实现一个聊天应用。可以修改下列参数和prompt体验模型。下载权重大约需要10分钟。
2024-07-11 15:13:31
337
原创 mindspore打卡21天之 基于MindSpore的GPT2文本摘要
本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本。因GPT2无中文的tokenizer，我们使用BertTokenizer替代。数据处理，将向量数据变为中文数据。
2024-07-11 14:08:09
248
原创 mindspore打卡20天之Shufflenet图像分类
ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型，和MobileNet, SqueezeNet等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作：Pointwise Group Convolution和Channel Shuffle，这在保持精度的同时大大降低了模型的计算量。因此，ShuffleNetV1和MobileNet类似，都是通过设计更高效的网络结构来实现模型的压缩和加速。
2024-07-11 10:54:21
262
原创 mindspore打卡19天之SSD目标检测
SSD，全称Single Shot MultiBox Detector，是Wei Liu在ECCV 2016上提出的一种目标检测算法。使用Nvidia Titan X在VOC 2007测试集上，SSD对于输入尺寸300x300的网络，达到74.3%mAP(mean Average Precision)以及59FPS；对于512x512的网络，达到了76.9%mAP ，超越当时最强的Faster RCNN(73.2%mAP)。具体可参考论文[1]。
2024-07-10 23:28:27
1056
原创 mindspore打卡18天之ResNet50图像分类
ResNet50网络是2015年由微软实验室的何恺明提出，获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图，由图中数据可以看出，56层网络比20层网络训练误差和测试误差更大，随着网络的加深，其误差并没有如预想的一样减小。
2024-07-10 17:09:56
894
原创 mindspore打卡17天之ResNet50迁移学习
在实际应用场景中，由于训练数据集不足，所以很少有人会从头开始训练整个网络。普遍的做法是，在一个非常大的基础数据集上训练得到一个预训练模型，然后使用该模型来初始化网络的权重参数或作为固定特征提取器应用于特定的任务中。本章将使用迁移学习的方法对ImageNet数据集中的狼和狗图像进行分类。迁移学习详细内容见。
2024-07-10 14:47:22
848
原创 mindspore打卡16天之FCN图像语义分割
FCN主要用于图像分割领域，是一种端到端的分割方法，是深度学习应用在图像语义分割的开山之作。通过进行像素级的预测直接得出与原图大小相等的label map。因FCN丢弃全连接层替换为全卷积层，网络所有层均为卷积层，故称为全卷积网络。全卷积神经网络主要使用以下三种技术：卷积化（Convolutional）使用VGG-16作为FCN的backbone。VGG-16的输入为224*224的RGB图像，输出为1000个预测值。VGG-16只能接受固定大小的输入，丢弃了空间坐标，产生非空间输出。
2024-07-10 13:46:32
957
原创 mindspore打卡第十五天-基于 MindSpore 实现 BERT 对话情绪识别
BERT全称是来自变换器的双向编码器表征量（Bidirectional Encoder Representations from Transformers），它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于Transformer中的Encoder并加上双向的结构，因此一定要熟练掌握Transformer的Encoder的结构。
2024-07-09 17:54:10
726
原创 mindspore打开第十四天文本解码原理1
_MindNLP/huggingface Transformers提供的文本生成方法____一个文本序列的概率分布可以分解为每个词基于其上文的条件概率的乘积__## __文本解码原理\-\-以MindNLP为例__* 当生成EOS标签时，停止生成。__根据前文预测下一个单词__* 𝑊_0:初始上下文单词序列。### 回顾：自回归语言模型。
2024-07-05 00:46:07
390
原创 图神经网络拉普拉斯矩阵理论
如果 \( \mathbf{Z} = \mathbf{X} \mathbf{W} \) 是加权后的节点特征矩阵，那么聚合后的消息 \( \mathbf{M}_i \) 可以表示为 \( \mathbf{M}_i = \sum_{j \in \mathcal{N}_i} \mathbf{z}_j \)，其中 \( \mathcal{N}_i \) 是节点 \( i \) 的邻居集合。具体来说，原始的图拉普拉斯矩阵定义为 \(L = D - A\)，其中 \(D\) 是度矩阵，\(A\) 是邻接矩阵。
2024-07-04 10:48:02
469
原创 mindspore打卡第十三天之mindquantum计算基测量
具体来说，如果我们有量子态 \(\alpha|00\rangle + \beta|11\rangle\)，其中 \(\alpha\) 和 \(\beta\) 是复数，则测量得到 \(|00\rangle\) 的概率是 \(|\alpha|^2\)，测量得到 \(|11\rangle\) 的概率是 \(|\beta|^2\)。外积的结果是一个矩阵，其第 \(i\) 行第 \(j\) 列的元素等于 \(|u〉\) 的第 \(i\) 个元素与 \(〈v|\) 的第 \(j\) 个元素的乘积。
2024-07-03 10:44:15
362
原创 mindspore打卡之量子概念和测量
然而，在您给出的原始态 \(|\psi〉=\frac{\sqrt{2}}{2}(|00〉+|11〉)\) 中，实际上只涉及到了两个系数（隐含地，\(a=\frac{\sqrt{2}}{2}\) 对应于态 \(|00〉\)，\(d=\frac{\sqrt{2}}{2}\) 对应于态 \(|11〉\)，而 \(b\) 和 \(c\) 由于态中没有它们对应的项，因此它们的系数是0，表示态 \(|01〉\) 和 \(|10〉\) 不在叠加中）。复共轭是复数的一个基本概念，指的是将复数的虚部的符号取反的操作。
2024-07-03 09:45:54
349
原创 mindspore打卡之量子模拟器和线路
通过 [get_qs()](https://www.mindspore.cn/mindquantum/docs/zh-CN/master/simulator/mindquantum.simulator.Simulator.html#mindquantum.simulator.Simulator.get_qs) 查看模拟器状态可以发现，当前模拟器状态即为我们希望设置的$\frac{\sqrt{3}}{3}|00〉+\frac{\sqrt{6}}{3}|11〉$。
2024-07-02 17:31:44
437
原创 mindspore打卡01非参数们和参数门
mindspore打卡01非参数们和参数门说明：（1）numpy是一个功能强大的Python库，主要用于对多维数组执行计算，支持大量的维度数组与矩阵运算，此外也针对数组运算提供大量的数学函数库；（2）mindquantum是量子-经典混合计算框架，支持多种量子神经网络的训练和推理；（3）搭建的量子线路中所需执行的量子门需要从mindquantum.core模块中导入；
2024-07-02 16:21:07
504
原创 mindspore打卡机器学习正则化与优化器
CosineNetCosineNet是一个结构相对简单的卷积神经网络模型，通过堆叠具有相同隐藏维度的1x1卷积层，结合批量归一化和dropout技术，旨在处理二维图像数据并进行分类或回归预测。模型的设计考虑到了效率和泛化性的平衡，利用卷积操作处理空间特征，而通过灵活的配置选项（如是否启用批量归一化和dropout）适应不同任务需求。在提供的build_fn函数中，l2参数体现在模型优化器的权重衰减（weight decay）设置上。具体来说，当调用创建优化器时，参数。
2024-07-02 13:18:49
1015
原创 HMM，EM算法（Expectation-Maximization Algorithm） VAE）以及KL散度
由于 \(\mu = (0, 0)\) 和 \(\Sigma = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}\)，则 \(\Sigma^{-1} = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}\) 且 \(|\Sigma| = 1\)。由于提议分布是对称的，我们可以简化为 \(\alpha = \min\left(1, \frac{p(\theta')}{p(\theta^{(t-1)})}\right)\)。
2024-07-02 09:26:39
698
原创 mindspore打卡第十二天VIT
类名父类nn.Cell，这是 MindSpore（一个开源的深度学习框架）中神经网络模块的基本单元。nn.Conv2d: 定义了一个卷积层，用于将图像数据转化为 patch embeddings。它接收通道的输入，输出维度为embed_dim，卷积核大小与步长均为patch_size，并且包含偏置（这段代码实现了 Vision Transformer 输入部分的关键组件，即如何将原始图像分割成 patches，并通过卷积操作转换为固定维度的向量表示，为后续的 Transformer 层处理做准备。
2024-07-02 00:49:15
670
原创 mindspore打卡第十一天对trainsformer的padding代码的理解
mindspore打卡第十一天对trainsformer的padding代码的理解。
2024-07-01 12:24:14
377
原创 mindspore打卡第十天transformer之训练过程
mindspore打卡第十天transformer之训练过程import mindsporefrom mindspore import nnfrom mindspore import opsfrom mindspore import Tensorfrom mindspore import dtype as mstypeclass ScaledDotProductAttention(nn.Cell): def __init__(self, dropout_p=0.):
2024-07-01 00:36:11
1107
原创 mindspore打卡第9天 transformer的encoder和decoder部分
mindspore打卡第9天 transformer的encoder和decoder部分自注意力分数的计算还是遵循着上述的公式，只不过这里的querykey和value都变成了句子本身。给定序列X∈Rn×dmodel，序列长度为n，维度为dmodel。在计算自注意力时，QKVXAttentionQKVsoftmaxdmodelQKTVsoftmaxdmodelXXTX。
2024-06-29 17:02:09
687
原创 mindspore打卡第8天：DDPM的训练迭代过程和采样过程 公式显示版本
\(\mu_\theta(x_t, t)\)是U-Net模型输出，表示预测的去噪方向。在深度学习和生成模型领域，最大化数据\(x_0\)的对数似然\(\log p_\theta(x_0)\)意味着我们试图找到一组参数\(\theta\)，使得模型\(p_\theta\)能够尽可能准确地生成与\(x_0\)相似的数据。当模型\(\mu_\theta(x_t, t)\)接收\(x_t\)作为输入时，其目标是预测\(\epsilon\)，即被添加到\(x_0\)以产生\(x_t\)的噪声。
2024-06-28 10:09:01
556
原创 mindspore打卡第8天：DDPM的训练迭代过程和采样过程
mindspore打卡第8天：DDPM的训练迭代过程和采样过程DDPM的unet模型中，训练得到的模型参数 是对于每一个时间步就生成对应一批的参数比如5个时间步对应5批不同的参数，还是说在几个时间步中的参数是迭代更新的比如一起参数随5个时间步更新还是一批？在Diffusion Models，特别是DDPM（Denoising Diffusion Probabilistic Models）中，其核心组件之一是U-Net这样的网络架构，该架构用于逐步逆转扩散过程，从而生成高质量的数据样本。
2024-06-28 10:07:26
1064
原创 mindspore打卡第几天 DDPM 之Unet 网络解析markdown版本
mindspore打卡第几天 DDPM 之Unet 网络解析markdown版本A:为啥DDPM的unet网络的下采样这部分的channel是从20 32 64 128这样上升的？从U形结构看不应该是下降的B:他是在weight和hight上是下降的，通道数是上升在上采样部分反过来，weight和hight变大，通道数最后回到3。
2024-06-27 14:52:13
555
原创 mindspore打卡第几天 DDPM 之Unet 网络解析
网络获取了一批`(batch_size, num_channels, height, width)`形状的噪声图像和一批`(batch_size, 1)`形状的噪音水平作为输入，并返回`(batch_size, num_channels, height, width)`形状的张量。- `ops.concat((x, h[len_h]), 1)`：这是关键的跳跃连接步骤，将当前解码器层的输出`x`与对应编码器层的特征图`h[len_h]`沿通道维度（维度1）拼接，从而传递并合并局部细节信息。
2024-06-27 14:51:01
805
原创 mindspore打卡第六天DDPM 中的attention部分
因此，变分下界（也称为ELBO）可用于最小化真值数据样本 $\mathbf{x}_0$ 的似然负对数（有关ELBO的详细信息，请参阅VAE论文[（Kingma等人，2013年）](https://arxiv.org/abs/1312.6114)），该过程的ELBO是每个时间步长的损失之和 $L=L_0+L_1+...+L_T$ ，其中，每项的损失 $L_t$ （除了 $L_0$ ）实际上是2个高斯分布之间的KL发散，可以明确地写为相对于均值的L2-loss!此操作改变了数据的组织方式，但不改变其内容。
2024-06-26 17:49:07
444
原创 midspore打卡第五天之DDPM原理一
其中，\(\alpha_t = 1 - \beta_t\) 代表信号保留的比例，\(\bar{\alpha}_t\) 是从开始到时间步 \(t\) 的信号保留比例的乘积，\(\beta_t\) 是在时间步 \(t\) 添加的噪声比例，而 \(\mathbf{\epsilon}_\theta(\mathbf{x}_t, t)\) 是神经网络预测的噪声（即残差），它反映了从 \(\mathbf{x}_t\) 到 \(\mathbf{x}_{t-1}\) 去噪所需的改变量。重点是均值是怎么计算的。
2024-06-25 22:35:14
604
原创 mindspore打卡第三课模型定义和训练全流程
mindspore打卡第三课模型定义和训练全流程Network<(3, 784)(3, 20)(3, 10)—最后使用nn.Softmax将神经网络最后一个全连接层返回的logits的值缩放为[0, 1]，表示每个类别的预测概率。axis指定的维度数值和为1。2]
2024-06-21 12:18:01
715
原创 mindspore打卡第三课模型定义和训练全流程
此时，虽然直观上我们仍主要关心如何通过调整`w`和`b`来减小`L`，但由于`z`也被显式包含在返回值中，理论上自动微分系统会为所有输入(`x`, `y`, `w`, `b`)计算梯度，即使最终可能只关心`(w, b)`的梯度。这个操作符合矩阵乘法的规则，即如果矩阵 \(A\) 是 \(a \times b\)，矩阵 \(B\) 是 \(b \times c\)，那么 \(AB\) 的运算结果是一个 \(a \times c\) 的矩阵，其中 \(c\) 维度对应到下一层的特征数量。
2024-06-21 12:13:41
322
原创 mindspore课程打卡第二天
在稀疏矩阵表示中，CSR格式是一种常用的方式，特别适合于行稀疏的矩阵。indptr(indices pointer): 一个一维数组，表示每行开始的索引位置。最后一个元素通常表示超过最后一行的偏移量，从而间接给出矩阵的行数。indices: 一个一维数组，表示非零元素对应的列索引。values: 一个一维数组，存储了矩阵中的非零元素值，与indices一一对应。shape: 一个元组，表示矩阵的维度。
2024-06-20 17:41:51
936
原创 mindspore第一天打卡
**对于概率分布作为标签**：损失计算考虑了真实概率分布，公式为 `-∑w_c * log(p_c) * y_c`，其中 `w_c` 是类别的权重，`p_c` 是模型预测的类别为 `c` 的概率，`y_c` 是真实概率分布中类别 `c` 的概率。默认为 `None`，表示不对类别进行加权。假设我们有参数 \( p_t = 3 \)，梯度 \( g_t = -1 \)，学习率 \( \eta = 0.1 \)，动量系数 \( \mu = 0.9 \)，且初始动量 \( v_0 = 0 \)。
2024-06-20 16:57:20
369
原创 mindspore打卡第一课
在MindSpore中提供了灵活的配置选项，可以适应不同类型的标签输入，并允许用户根据需要调整损失计算的方式，如通过权重调整、忽略特定标签值、选择不同的损失归约策略以及应用标签平滑技术，从而优化模型的训练过程。| Note:| applied.| Args:| Inputs:| Outputs:| Raises:| >>>| >>>| >>>SGD（Stochastic Gradient Descent，随机梯度下降）是最基本也是最常用的优化算法之一，用于更新模型参数。
2024-06-19 18:29:44
875
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人