![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
python
文章平均质量分 78
python学习和项目实践。
Charlotte's diary
不积跬步,无以至千里。
目标就业
保持日更,吸收更多的知识,输出更多的解决方法
展开
-
NLP学习 | 01 NLP认识
自然语言处理NLP自然语言理解NLU —— 人工智能方式自然语言生成NLG —— 人工智能方式Bert,GPT,T5:预训练的自然语言模型;原创 2024-07-21 16:58:57 · 1219 阅读 · 0 评论 -
昇思25天学习打卡营第28天 | MindNLP ChatGLM-6B StreamChat
基于MindNLP和ChatGLM-6B实现一个聊天应用。原创 2024-07-18 09:04:38 · 216 阅读 · 0 评论 -
昇思25天学习打卡营第27天 | 文本解码原理--以MindNLP为例
例如,如果文本使用UTF-8编码,解码过程就是将UTF-8编码的字节序列转换回对应的字符。如果文本被Base64编码,解码过程就是将Base64编码的字符串转换回原始的二进制数据。文本解码通常指的是将编码后的文本信息还原为原始可读形式的过程。Beam search通过在每个时间步保留最可能的 num_beams 个词,并从中最终选择出概率最高的序列来降低丢失潜在的高概率序列的风险。例如,空格会被编码为。选出概率最大的 K 个词,重新归一化,最后在归一化后的 K 个词中采样。2. 开放域生成效果差。原创 2024-07-17 10:37:53 · 1065 阅读 · 0 评论 -
昇思25天学习打卡营第26天 | 基于MindSpore的GPT2文本摘要
数据集加载本次实验使用的是nlpcc2017摘要数据,内容为新闻正文及其摘要,总计50000个样本。数据预处理因GPT2无中文的tokenizer,我们使用BertTokenizer替代。原创 2024-07-16 13:10:20 · 616 阅读 · 0 评论 -
爬虫学习 | 02 认识爬虫spider
网络爬虫(Web Crawler),也被称为网页蜘蛛(Spider)、网页机器人(Robot)或爬虫(Crawler),是一种自动浏览互联网的程序。它的主要任务是按照一定的算法扫描和访问网页,从互联网上下载网页内容,然后智能地解析和提取网页中的信息。原创 2024-07-16 13:10:47 · 1445 阅读 · 2 评论 -
爬虫学习 | 01 Web Scraper的使用
1.什么是Web Scraper。原创 2024-07-15 16:20:45 · 2193 阅读 · 21 评论 -
昇思25天学习打卡营第25天 | 基于 MindSpore 实现 BERT 对话情绪识别
BERT全称是来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers),它是Google于2018年末开发并发布的一种新型语言模型。与BERT模型相似的预训练语言模型例如问答、命名实体识别、自然语言推理、文本分类等在许多自然语言处理任务中发挥着重要作用。模型是基于Transformer中的Encoder并加上双向的结构,因此一定要熟练掌握Transformer的Encoder的结构。BERT模型的主要创新点都在。原创 2024-07-15 10:38:14 · 1202 阅读 · 0 评论 -
昇思25天学习打卡营第24天 | RNN实现情感分类
情感分类是自然语言处理中的经典任务,是典型的分类问题。输入: This film is terrible正确标签: Negative预测标签: Negative输入: This film is great正确标签: Positive预测标签: Positive数据准备本节使用情感分类的经典数据集IMDB影评数据集,数据集包含Positive和Negative两类,下面为其样例:Review 回顾Label 标签“戒烟”可能与戒毒一样,意味着退出预先设定的身份。原创 2024-07-15 10:06:25 · 994 阅读 · 0 评论 -
昇思25天学习打卡营第23天 | LSTM+CRF序列标注
概述序列标注指给定输入序列,给序列中每个Token进行标注标签的过程。序列标注问题通常用于从文本中进行信息抽取,包括分词(Word Segmentation)、词性标注(Position Tagging)、命名实体识别(Named Entity Recognition, NER)等。以命名实体识别为例:输入序列清华大学座落于首都北京输出标注BIIIOOOOOBI如上表所示,清华大学和北京。原创 2024-07-13 09:17:38 · 749 阅读 · 0 评论 -
昇思25天学习打卡营第22天 | Pix2Pix实现图像转换
Pix2Pix是基于条件生成对抗网络(cGAN, Condition Generative Adversarial Networks )实现的一种深度学习图像转换模型,该模型是由Phillip Isola等作者在2017年CVPR上提出的,可以实现语义/标签到真实图片、灰度图到彩色图、航空图到地图、白天到黑夜、线稿图到实物图的转换。生成器和判别器。传统上,尽管此类任务的目标都是相同的从像素预测像素,但每项都是用单独的专用机器来处理的。原创 2024-07-13 08:57:40 · 499 阅读 · 0 评论 -
昇思25天学习打卡营第21天 | GAN图像生成
生成式对抗网络(Generative Adversarial Networks,GAN)是一种生成式机器学习模型,是近年来复杂分布上无监督学习最具前景的方法之一。最初,GAN由Ian J. Goodfellow于2014年发明,并在论文生成器的任务是生成看起来像训练图像的“假”图像;判别器需要判断从生成器输出的图像是真实的训练图像还是虚假的图像。GAN通过设计生成模型和判别模型这两个模块,使其互相博弈学习产生了相当好的输出。GAN模型的核心在于提出了通过对抗过程来估计生成模型这一全新框架。原创 2024-07-11 13:37:20 · 898 阅读 · 0 评论 -
昇思25天学习打卡营第20天 | CycleGAN图像风格迁移互换
CycleGAN(Cycle Generative Adversarial Network) 即循环对抗生成网络,来自论文。该模型实现了一种在没有配对示例的情况下学习将图像从源域 X 转换到目标域 Y 的方法。该模型一个重要应用领域是域迁移(Domain Adaptation),可以通俗地理解为图像风格迁移。原创 2024-07-10 21:03:31 · 1036 阅读 · 0 评论 -
昇思25天学习打卡营第19天 | 基于MobileNetv2的垃圾分类
MobileNet网络是由Google团队于2017年提出的专注于移动端、嵌入式或IoT设备的轻量级CNN网络,相比于传统的卷积神经网络,MobileNet网络使用深度可分离卷积(Depthwise Separable Convolution)的思想在准确率小幅度降低的前提下,大大减小了模型参数与运算量。并引入宽度系数 α和分辨率系数 β使模型满足不同应用场景的需求。原创 2024-07-08 23:40:02 · 218 阅读 · 0 评论 -
昇思25天学习打卡营第18天 | K近邻算法实现红酒聚类
K近邻算法(K-Nearest-Neighbor, KNN)是一种用于分类和回归的非参数统计方法,最初由 Cover和Hart于1968年提出(Cover等人,1967),是机器学习最基础的算法之一。它正是基于以上思想:要确定一个样本的类别,可以计算它与所有训练样本的距离,然后找出和该样本最接近的k个样本,统计出这些样本的类别并进行投票,票数最多的那个类就是分类的结果。KNN的三个基本要素:K值,一个样本的分类是由K个邻居的“多数表决”确定的。K值越小,容易受噪声影响,反之,会使类别之间的界限变得模糊。原创 2024-07-07 09:49:02 · 815 阅读 · 0 评论 -
昇思25天学习打卡营第17天 | 基于MindNLP+MusicGen生成自己的个性化音乐
与传统方法不同,MusicGen采用单个stage的Transformer LM结合高效的token交织模式,取消了多层级的多个模型结构,例如分层或上采样,这使得MusicGen能够生成单声道和立体声的高质量音乐样本,同时提供更好的生成输出控制。MusicGen不仅能够生成符合文本描述的音乐,还能够通过旋律条件控制生成的音调结构。MusicGen是来自Meta AI的Jade Copet等人提出的基于单个语言模型(LM)的音乐生成模型,能够根据文本描述或音频提示生成高质量的音乐样本,相关研究成果参考论文《原创 2024-07-06 23:51:44 · 864 阅读 · 0 评论 -
昇思25天学习打卡营第16天 | DCGAN生成漫画头像
这两天把minspore配置到我的电脑上了,然后运行就没什么问题了✨😊今天学这个DCGAN生成漫画头像,我超级感兴趣的嘞🦄🥰。原创 2024-07-05 11:02:07 · 1072 阅读 · 0 评论 -
昇思25天学习打卡营第15天 | CycleGAN图像风格迁移互换
CycleGAN(Cycle Generative Adversarial Network) 即循环对抗生成网络,来自论文。该模型实现了一种在没有配对示例的情况下学习将图像从源域 X 转换到目标域 Y 的方法。该模型一个重要应用领域是域迁移(Domain Adaptation),可以通俗地理解为图像风格迁移。原创 2024-07-04 14:31:28 · 976 阅读 · 0 评论 -
Django开发实战(1)- 认识django
windows使用iis(Internet information services,互联网信息服务)与WFastCGI进行页面搭建。√ sql(structure query language),调用接口(queryset API)app01下创建三个文件夹:media,static,templates。在setting.py中注册app01,配置数据库(我的是mysql)(解决安装mysqlclient 不成功的问题)model:业务对象和关系映射(ORM)原创 2024-07-03 19:57:07 · 366 阅读 · 0 评论 -
昇思25天学习打卡营第14天 | Vision Transformer图像分类
近些年,随着基于自注意(Self-Attention)结构的模型的发展,特别是Transformer模型的提出,极大地促进了自然语言处理模型的发展。由于Transformers的计算效率和可扩展性,它已经能够训练具有超过100B参数的空前规模的模型。ViT则是自然语言处理和计算机视觉两个领域的融合结晶。在不依赖卷积操作的情况下,依然可以在图像分类任务上达到很好的效果。原创 2024-07-03 09:12:19 · 620 阅读 · 0 评论 -
昇思25天学习打卡营第13天 | SSD目标检测
SSD,全称Single Shot MultiBox Detector,是Wei Liu在ECCV 2016上提出的一种目标检测算法。使用Nvidia Titan X在VOC 2007测试集上,SSD对于输入尺寸300x300的网络,达到74.3%mAP(mean Average Precision)以及59FPS;对于512x512的网络,达到了76.9%mAP ,超越当时最强的Faster RCNN(73.2%mAP)。具体可参考论文[1]。原创 2024-07-02 15:45:19 · 785 阅读 · 0 评论 -
昇思25天学习打卡营第12天 | ShuffleNet图像分类
ShuffleNetV1是旷视科技提出的一种计算高效的CNN模型,和MobileNet, SqueezeNet等一样主要应用在移动端,所以模型的设计目标就是利用有限的计算资源来达到最好的模型精度。ShuffleNetV1的设计核心是引入了两种操作:Pointwise Group Convolution和Channel Shuffle,这在保持精度的同时大大降低了模型的计算量。因此,ShuffleNetV1和MobileNet类似,都是通过设计更高效的网络结构来实现模型的压缩和加速。原创 2024-07-01 20:53:38 · 767 阅读 · 1 评论 -
昇思25天学习打卡营第11天 | ResNet50图像分类(应用实践/机器视觉)
ResNet50网络是2015年由微软实验室的何恺明提出,获得ILSVRC2015图像分类竞赛第一名。在ResNet网络提出之前,传统的卷积神经网络都是将一系列的卷积层和池化层堆叠得到的,但当网络堆叠到一定深度时,就会出现退化问题。下图是在CIFAR-10数据集上使用56层网络与20层网络训练误差和测试误差图,由图中数据可以看出,56层网络比20层网络训练误差和测试误差更大,随着网络的加深,其误差并没有如预想的一样减小。原创 2024-06-30 13:35:20 · 1084 阅读 · 0 评论 -
昇思25天学习打卡营第10天 | ResNet50迁移学习(应用实践/机器视觉)
这个我在实训中学习到了,刚好在复习一下~~在实际应用场景中,由于训练数据集不足,所以很少有人会从头开始训练整个网络。普遍的做法是,在一个非常大的基础数据集上训练得到一个预训练模型,然后使用该模型来初始化网络的权重参数或作为固定特征提取器应用于特定的任务中。本章将使用迁移学习的方法对ImageNet数据集中的狼和狗图像进行分类。原创 2024-06-29 13:22:12 · 180 阅读 · 0 评论 -
昇思25天学习打卡营第8天 | 保存与加载 & 使用静态图加速
AI编译框架分为两种运行模式,分别是动态图模式以及静态图模式。MindSpore默认情况下是以动态图模式运行,但也支持手工切换为静态图模式。原创 2024-06-27 14:25:04 · 936 阅读 · 0 评论 -
昇思25天学习打卡营第7天 | 模型训练
nn.ReLU(),nn.ReLU(),¶超参(Hyperparameters)是可以调整的参数,可以控制模型训练优化的过程,不同的超参数值可能会影响模型训练和收敛速度。目前深度学习模型多采用批量随机梯度下降算法进行优化,随机梯度下降算法的原理如下:公式中,𝑛𝑛是批量大小(batch size),ηη是学习率(learning rate)。另外,𝑤𝑡𝑤𝑡为训练轮次𝑡𝑡中的权重参数,∇𝑙∇𝑙为损失函数的导数。原创 2024-06-26 19:38:08 · 852 阅读 · 0 评论 -
django显示数组越界index 0 is out of bounds for dimension 0 with size 0
初步诊断是因为,训练的模型次数太少,不能识别。认为在图片里没有对象,数据框没有办法识别,所以就会发生数组越界。我现在重新训练我的模型,希望能检测出来。有些图片在报错,有些能检测出。原创 2024-06-26 09:42:01 · 88 阅读 · 0 评论 -
Scikit-learn:使用joblib保存模型,文件后缀通常是.pkl或.joblib。TensorFlow/Keras:模型可以保存为.h5或.hdf5文件
文件,这些是HDF5格式的文件,用于存储模型结构和权重。库保存模型,文件后缀通常是。用models加载模型。原创 2024-06-25 11:50:09 · 273 阅读 · 0 评论 -
昇思25天学习打卡营第6天 | 函数式自动微分
神经网络的训练主要使用与送入获得然后进行反向传播计算,求得,最终更新至。自动微分能够计算可导函数在某点处的导数值,是反向传播算法的一般化。自动微分主要解决的问题是将一个复杂的数学运算分解为一系列简单的基本运算,该功能对用户屏蔽了大量的求导细节和过程,大大降低了框架的使用门槛。MindSpore使用函数式自动微分的设计理念,提供更接近于数学语义的自动微分grad和value_and_grad。下面我们使用一个简单的单层线性变换模型进行介绍。原创 2024-06-25 08:06:25 · 1290 阅读 · 0 评论 -
昇思25天学习打卡营第4天 | 数据变换 Transforms
直接加载的原始数据并不能直接送入神经网络进行训练,此时我们需要对其进行数据预处理。MindSpore提供不同种类的数据变换(Transforms),配合数据处理Pipeline来实现数据预处理。所有的Transforms均可通过map方法传入,实现对指定数据列的处理。提供了面向图像、文本、音频等不同数据类型的Transforms,同时也支持使用Lambda函数。原创 2024-06-23 16:45:06 · 562 阅读 · 0 评论 -
昇思25天学习打卡营第3天 | 数据集 Dataset
模块提供了一些常用的公开数据集和标准格式数据集的加载API。对于MindSpore暂不支持直接加载的数据集,可以构造自定义数据加载类或自定义数据集生成函数的方式来生成数据集,然后通过接口实现自定义方式的数据集加载。支持通过可随机访问数据集对象、可迭代数据集对象和生成器(generator)构造自定义数据集。原创 2024-06-22 13:22:48 · 626 阅读 · 0 评论 -
昇思25天学习打卡营第2天 | 张量 Tensor
MindSpore网络运算中的基本数据结构是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数线性关系的基本例子有以及。其坐标在 𝑛𝑛 维空间内,有 𝑛𝑟𝑛𝑟 个分量的一种量,其中每个分量都是坐标的函数,而在坐标变换时,这些分量也依照某些规则作线性变换。称为该(与矩阵的秩和阶均无关系)。原创 2024-06-21 18:27:08 · 806 阅读 · 0 评论 -
昇思25天学习打卡营第1天 | 快速入门
题外话:这几天人工智能实训,在学深度学习,我觉得蛮像的。原创 2024-06-20 20:57:26 · 1144 阅读 · 0 评论 -
昇思25天学习打卡营第0天 | 基本介绍
昇腾计算,是基于昇腾系列处理器构建的全栈AI计算基础设施及应用,包括昇腾Ascend系列芯片、Atlas系列硬件、CANN芯片使能、MindSpore AI框架、ModelArts、MindX应用使能等。华为Atlas人工智能计算解决方案,是基于昇腾系列AI处理器,通过模块、板卡、小站、服务器、集群等丰富的产品形态,打造面向“端、边、云”的全场景AI基础设施方案,涵盖数据中心解决方案、智能边缘解决方案,覆盖深度学习领域推理和训练全流程。昇腾应用使能。原创 2024-06-20 20:18:38 · 1020 阅读 · 0 评论 -
数据分析练习
未完待续,上传个文件。原创 2024-06-07 18:39:45 · 188 阅读 · 0 评论 -
神经网络分类的简单练习:dogscats分类
QAQ我都去掉一层卷积了,等我跑个30次试试看。原创 2024-05-20 11:50:28 · 185 阅读 · 0 评论 -
读取三国演义.txt文件,分析统计其中人物出现的频率,使用Matplotlib绘制词频统计结果,以柱状图的形式展示统计结果
【代码】读取三国演义.txt文件,分析统计其中人物出现的频率,使用Matplotlib绘制词频统计结果,以柱状图的形式展示统计结果。原创 2024-05-15 19:55:16 · 556 阅读 · 0 评论 -
读取三国演义.txt文件,分析统计其中人物出现的频率,使用Matplotlib绘制词频统计结果,生成人物词云。
提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档。原创 2024-05-13 19:09:20 · 417 阅读 · 0 评论 -
NumPy的学习
NumPy 是 Numerical Python 的缩写,是 Python 中最重要的数值计算基础包之一。原创 2024-05-11 21:11:55 · 1067 阅读 · 2 评论 -
vscode中配置jupyter(vscode+anaconda+jupyter)
1.安装anaconda31.1卸载pyhon环境(没有安装过python可跳过该步骤)1.2安装anaconda之后,需要在path里添加如下路径:1.3创建虚拟环境,激活环境jupyter notebook已经在anaconda里下好了2.安装vscode2.1vscode安装2.2安装插件2.3创建.ipynb文件,并写入简单的代码,新建一下代码单元格2.4选择虚拟环境中的python.exe进行编译3.完成原创 2024-05-10 15:50:08 · 1299 阅读 · 0 评论