- 博客(155)
- 资源 (1)
- 收藏
- 关注
RSS订阅
原创 项目经理和PMO需要掌握的13个表达技巧
作为项目经理和PMO有一项最需要掌握的基本功：如何清晰表达？在进行项目汇报时、开项目各种议会时、号召成员解决困难时、项目成功庆祝时等等，都需要清晰的表达。
2022-12-19 11:47:59
542
原创 气象大数据案例项目（求各气象站的平均气温）
现在有一份来自美国国家海洋和大气管理局的数据集，里面包含近30年每个气象站、每小时的天气预报数据，每个报告的文件大小大约15M。一共有10个气象站，每个报告文件的名字包含气象站ID，每条记录包含气温、风向、天气状况等多个字段信息。现在要求统计美国各气象站30年平均气温。-9999 说明数据缺失。一共10份气象站的数据。文档里面的数据格式，
2024-08-10 22:02:25
486
原创 MapReduce 简单介绍
MapReduce 是一个使用简单的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错式并行处理TB级别的数据集。MapReduce是一个并行程序的计算模型与方法MapReduce是一个并行程序运行的软件框架MapReduce是一个基于集群的高性能并行计算平台。
2024-08-10 16:30:06
878
原创 部署伪分布式 Hadoop集群
Hadoop目录介绍存放内容：Hadoop的各种可执行脚本和程序，如启动和停止Hadoop服务的脚本、Hadoop命令行工具等。功能：用于执行对Hadoop相关服务（如HDFS、YARN、MapReduce等）的操作和管理任务。存放内容：Hadoop的配置文件，如hadoop-env.sh（环境变量配置）、core-site.xml（核心配置）、hdfs-site.xml（HDFS配置）、yarn-site.xml（YARN配置）和mapred-site.xml（MapReduce配置）等。
2024-08-06 22:59:32
976
原创 昇思25天学习打卡营第26天|Pix2Pix实现图像转换
Pix2Pix是基于条件生成对抗网络（cGAN, Condition Generative Adversarial Networks ）实现的一种深度学习图像转换模型，该模型是由Phillip Isola等作者在2017年CVPR上提出的，可以实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。Pix2Pix是将cGAN应用于有监督的图像到图像翻译的经典之作，其包括两个模型：生成器和判别器。
2024-07-29 22:51:55
562
原创 昇思25天学习打卡营第25天|RNN实现情感分类
情感分类是自然语言处理中的经典任务，是典型的分类问题。本节使用MindSpore实现一个基于RNN网络的情感分类模型，实现如下的效果：输入: This film is terrible正确标签: Negative预测标签: Negative输入: This film is great正确标签: Positive预测标签: Positive最后我们设计一个预测函数，实现开头描述的效果，输入一句评价，获得评价的情感分类。将输入句子进行分词；使用词表获取对应的index id序列；
2024-07-27 12:34:14
739
原创 昇思25天学习打卡营第24天|LSTM+CRF序列标注
序列标注指给定输入序列，给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取，包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。以命名实体识别为例：如上表所示，清华大学 和 北京是地名，需要将其识别，我们对每个输入的单词预测其标签，最后根据标签来识别实体。
2024-07-27 11:46:11
877
原创 昇思25天学习打卡营第23天|基于MindSpore的GPT2文本摘要
本次实验使用的是nlpcc2017摘要数据，内容为新闻正文及其摘要，总计50000个样本。因GPT2无中文的tokenizer，我们使用BertTokenizer替代。数据处理，将向量数据变为中文数据。
2024-07-26 23:46:43
228
原创 昇思25天学习打卡营第22天|基于MindSpore实现BERT对情绪识别
BERT全称是来自变换器的双向编码器表征量（Bidirectional Encoder Representations from Transformers），它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于Transformer中的Encoder并加上双向的结构，因此一定要熟练掌握Transformer的Encoder的结构。
2024-07-26 23:18:29
816
原创 昇思25天学习打卡营第21天|基于MobileNetv2的垃圾分类
MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络，相比于传统的卷积神经网络，MobileNet网络使用深度可分离卷积（Depthwise Separable Convolution）的思想在准确率小幅度降低的前提下，大大减小了模型参数与运算量。并引入宽度系数 α和分辨率系数 β使模型满足不同应用场景的需求。
2024-07-24 22:25:44
773
原创 昇思25天学习打卡营第20天|K近邻算法实现红酒聚类
K近邻算法（K-Nearest-Neighbor, KNN）是一种用于分类和回归的非参数统计方法，最初由 Cover和Hart于1968年提出(Cover等人,1967)，是机器学习最基础的算法之一。它正是基于以上思想：要确定一个样本的类别，可以计算它与所有训练样本的距离，然后找出和该样本最接近的k个样本，统计出这些样本的类别并进行投票，票数最多的那个类就是分类的结果。KNN的三个基本要素：K值，一个样本的分类是由K个邻居的“多数表决”确定的。K值越小，容易受噪声影响，反之，会使类别之间的界限变得模糊。
2024-07-23 22:26:25
816
原创 昇思25天学习打卡营第19天|基于MindNLP+MusicGen生成自己的个性化音乐
MusicGen是来自Meta AI的Jade Copet等人提出的基于单个语言模型（LM）的音乐生成模型，能够根据文本描述或音频提示生成高质量的音乐样本，相关研究成果参考论文《Simple and Controllable Music Generation》。MusicGen直接使用谷歌的t5-base及其权重作为文本编码器模型，并使用EnCodec 32kHz及其权重作为音频压缩模型。MusicGen解码器是一个语言模型架构，针对音乐生成任务从零开始进行训练。
2024-07-22 23:03:15
692
原创 python语言进阶重点知识总结_day16
python进阶知识：生成式（推导式）的用法、嵌套的列表的坑、heapq模块（堆排序）、itertools模块、collections模块
2024-07-21 22:21:17
642
原创 昇思25天学习打卡营第18天|GAN图像生成
生成式对抗网络(Generative Adversarial Networks，GAN)是一种生成式机器学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。生成器的任务是生成看起来像训练图像的“假”图像；判别器需要判断从生成器输出的图像是真实的训练图像还是虚假的图像。GAN通过设计生成模型和判别模型这两个模块，使其互相博弈学习产生了相当好的输出。GAN模型的核心在于提出了通过对抗过程来估计生成模型这一全新框架。
2024-07-21 16:34:26
1274
原创 昇思25天学习打卡营第17天|CycleGAN图像风格迁移互换
CycleGAN(Cycle Generative Adversarial Network) 即循环对抗生成网络，来自论文 Unpaired Image-to-Image Translation using Cycle-Consistent Adversarial Networks。该模型实现了一种在没有配对示例的情况下学习将图像从源域 X 转换到目标域 Y 的方法。该模型一个重要应用领域是域迁移(Domain Adaptation)，可以通俗地理解为图像风格迁移。
2024-07-21 15:58:37
689
原创 昇思25天学习打卡营第16天|DCGAN生成漫画头像
在下面的教程中，我们将通过示例代码说明DCGAN网络如何设置网络、优化器、如何计算损失函数以及如何初始化模型权重。在本教程中，使用的动漫头像数据集共有70,171张动漫头像图片，图片大小均为96*96。
2024-07-18 23:31:54
754
原创 昇思25天学习打卡营第15天|Vision Transformer图像分类
近些年，随着基于自注意（Self-Attention）结构的模型的发展，特别是Transformer模型的提出，极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性，它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下，依然可以在图像分类任务上达到很好的效果。本案例完成了一个ViT模型在ImageNet数据上进行训练，验证和推理的过程，其中，对关键的ViT模型结构和原理作了讲解。
2024-07-18 21:48:38
656
原创 昇思25天学习打卡营第14天|ShuffleNet图像分类
ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型，和MobileNet, SqueezeNet等一样主要应用在移动端，所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作：Pointwise Group Convolution和Channel Shuffle，这在保持精度的同时大大降低了模型的计算量。因此，ShuffleNetV1和MobileNet类似，都是通过设计更高效的网络结构来实现模型的压缩和加速。
2024-07-16 22:41:54
676
原创 昇思25天学习打卡营第13天|ResNet50图像分类
ResNet50网络是2015年由微软实验室的何恺明提出，获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前，传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的，但当网络堆叠到一定深度时，就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图，由图中数据可以看出，56层网络比20层网络训练误差和测试误差更大，随着网络的加深，其误差并没有如预想的一样减小。
2024-07-16 22:12:49
628
原创 python图像和办公文档处理_day015
用程序来处理图像和办公文档经常出现在实际开发中，Python的标准库中虽然没有直接支持这些操作的模块，但我们可以通过Python生态圈中的第三方模块来完成这些操作。
2024-07-15 23:50:35
972
原创 昇思25天学习打卡营第12天|ResNet50迁移学习
在实际应用场景中，由于训练数据集不足，所以很少有人会从头开始训练整个网络。普遍的做法是，在一个非常大的基础数据集上训练得到一个预训练模型，然后使用该模型来初始化网络的权重参数或作为固定特征提取器应用于特定的任务中。本章将使用迁移学习的方法对ImageNet数据集中的狼和狗图像进行分类。
2024-07-15 22:04:17
259
原创 昇思25天学习打卡营第11天|SSD目标检测
SSD，全称Single Shot MultiBox Detector，是Wei Liu在ECCV 2016上提出的一种目标检测算法。使用Nvidia Titan X在VOC 2007测试集上，SSD对于输入尺寸300x300的网络，达到74.3%mAP(mean Average Precision)以及59FPS；对于512x512的网络，达到了76.9%mAP ，超越当时最强的Faster RCNN(73.2%mAP)。
2024-07-14 17:45:42
897
原创 昇思25天学习打卡营第10天|FCN图像语义分割
全卷积网络（Fully Convolutional Networks，FCN）是UC Berkeley的Jonathan Long等人于2015年在Fully Convolutional Networks for Semantic Segmentation[1]一文中提出的用于图像语义分割的一种框架
2024-07-14 17:02:25
574
原创 昇思25天学习打卡营第9天|使用静态图加速
AI编译框架分为两种运行模式，分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行，但也支持手工切换为静态图模式。
2024-07-13 18:46:00
516
原创 昇思25天学习打卡营第8天|保存与加载
在训练网络模型的过程中，实际上我们希望保存中间和最后的结果，用于微调（fine-tune）和后续的模型推理与部署，本章节我们将介绍如何保存与加载模型。
2024-07-13 18:22:46
291
原创 python使用正则表达式_day012
正则表达式是一种工具，它定义了字符串的匹配模式（如何检查一个字符串是否有跟某种模式匹配的部分或者从一个字符串中将与模式匹配的部分提取出来或者替换掉）
2024-07-12 23:17:28
1968
原创 昇思25天学习打卡营第07天|模型训练
模型训练一般分为四个步骤：1.构建数据集。2.定义神经网络模型。3.定义超参、损失函数及优化器。4.输入数据集进行训练与评估。
2024-07-12 22:06:43
760
原创 昇思25天学习打卡营第6|函数式自动微分
神经网络的训练主要使用反向传播算法，模型预测值（logits）与正确标签（label）送入损失函数（loss function）获得loss，然后进行反向传播计算，求得梯度（gradients），最终更新至模型参数（parameters）。自动微分能够计算可导函数在某点处的导数值，是反向传播算法的一般化。
2024-07-12 21:27:04
478
SQL 2012数据库帮助文档
2020-10-29
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人