![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 64
你这个代码我看不懂.
这个作者很懒,什么都没留下…
展开
-
过拟合与欠拟合及解决方法
(1)什么是过拟合与欠拟合过拟合是指模型对于训练数据拟合呈过当的情况,反映到评估指标上,就是模型在训练集上的表现很好,但在测试集和新数据上的表现较差。欠拟合指的是模型在训练和预测时表现都不好的情况。下图描述了过拟合和欠拟合的区别。可以看出,(a)是欠拟合的情况,拟合的线没有很好地捕捉到数据的特征,不能够很好地拟合数据。©则是过拟合的情况,模型过于复杂,把噪声数据的特征也学习到模型中,导致模型泛化能力下降,在后期应用过程中很容易输出错误的预测结果。(2)出现过拟合现象的原因1、参与训练的样本数据不足。原创 2022-03-23 19:22:20 · 1548 阅读 · 0 评论 -
自回归模型--PixelCNN
PixclCNN一次生成一个像素,并使用该像素生成下一个像素,然后使用前两个像素生成第三个像素。在 PixelCNN中,有一个概率密度模型,该模型可以学习所有图像的密度分布并根据该分布生成图像。也试图通过使用之前所有预测的联合概率来限制在所有先前生成的像素的基础上生成的每个像素。假设图像被遮挡住一般,那PixelCNN需要生成剩下的一半图像,这是通过掩膜卷积进行的。下图展示了如何对像素集应用卷积运算来预测中心像素。与其他模型相比,自回归模型的主要优点是:联合概率学习技术易于处理,并且可以用梯度下降法进行原创 2022-03-26 15:38:36 · 3317 阅读 · 0 评论 -
基于VGG16网络的花卉识别
环境简述python3.7 Tensorflow卷积神经网络对花卉图片进行识别VGG.py这一部分包括数据处理,模型定义,模型训练。1、第26行的名称为数据集文件夹每一类花的文件夹名字2、第27行到44行的内容在运行一次后可以添上注释,这是数据处理的部分,处理后保存到了npy文件,后续直接读取就行。3、选择VGG16作为基础模型,再次基础上进行训练,通过设计include_top=False,可以获得不含全连接层的基础网络。import pandas as pdim...原创 2022-01-06 14:12:50 · 2158 阅读 · 0 评论 -
python使用蒙特卡洛树(MCTS)算法实现黑白棋miniAlphaGo for Reversi
黑白棋(reversi),也叫苹果棋,翻转棋,是一个经典的策略性游戏。一般棋子双面为黑白两色,故称“黑白棋”。因为行棋之时将对方棋子翻转,变为己方棋子,故又称“翻转棋”。棋子双面为红、绿色的成为“苹果棋”。它使用8*8的棋盘,由两人执黑子和白子轮流下棋,最后子多方为胜。规则:(1) 黑方先行,双方交替下棋。(2) 一步合法的棋步包含:在一个空格新落下一个棋子,并且反转对手一个或多个棋子。(3) 新落下的棋子与棋盘上已有的同色棋子间,对方被夹住的所有棋子都要反转过来。可以横着夹,竖着夹,斜着夹。夹住的原创 2022-01-12 14:36:19 · 17230 阅读 · 9 评论 -
python下的spectral模块之3D光谱立方体绘制
光谱立方体没啥用,唯一的用处就是看起来很cool首先安装包pip3 install wxPythonpip3 install PyOpenGL然后跑代码import spectralimport cv2img = spectral.open_image('')#打开文件img_1 = img[:,:,19].reshape(145,145)spectral.view_cube(img, bands=[29, 19, 9])#这里的波段是立方体第一面显示的图片波段,做遥感图像处理的应原创 2022-02-09 21:26:40 · 3377 阅读 · 3 评论 -
支持向量机SVM理解与python调用
(1)什么是支持向量机有一个故事讲得挺好,我觉得用来初步理解SVM的原理和作用非常合适。具体是这样说的,桌子上放着两种颜色的球,球数量少的时候可以用一根木棍分开,这个木棍其实就是SVM,起着分割两类的作用。但随着小球的增多,一根木棍无法在平面上分开两堆小球,此时如何解决呢?这时我们可以用力拍打桌子,使得桌子上的小球腾空起来,然后迅速插入一张白纸,使得不同颜色的小球被白纸分开,这张白纸就叫做“分类超平面”,小球叫做“数据”,木棍叫做“分类面” 。(2)python中如何调用SVM1、导入相关库f原创 2022-03-24 12:59:43 · 2431 阅读 · 1 评论 -
自回归生成网络--WaveNet
WaveNet取代了对音频信号使用傅里叶变换的传统方法。它通过令神经网络找出要执行的转换来实现。因此,转换可以反向传播,原始音频数据可以通过一些技术来处理,例如膨胀卷积、8位量化等。但是人们一直在研究将WaveNet方法与传统方法相结合的方式,尽管该方式将损失函数转换为多元回归的损失函数而不是WaveNet所使用的分类。WaveNet的基本构建模块是膨胀卷积,它取代了RNN获取上下文信息的功能下图展示了WaveNet在进行预测时如何提取有关上下文的信息。图片的底部是输入,这是原始音频样本。例如,一个16原创 2022-03-31 18:39:57 · 4017 阅读 · 0 评论 -
Pytorch之Tensor基本操作
pytorch中基本数据是一个tensor对象,类似于numpy中的ndarray。下面列举一些张量的简单使用方法。(1)创建tensor#创建未初始化的张量x1 = torch.Tensor(3,2)#创建随机的张量x2 = torch.rand(3,2)#创建全为1的张量x3 = torch.ones(3,2)#创建全为0的张量x4 = torch.zeros(3,2)#四个结果如下tensor([[1.3527e+13, 5.8294e-43], [1.3153原创 2022-03-21 17:02:12 · 1536 阅读 · 0 评论 -
主成分分析PCA降维--python,matlab实现高光谱数据降维
在机器学习领域中,我们对原始数据进行特征提取,有时会得到比较高维的特征向量。在这些向量所处的高维空间中,包含很多的冗余和噪声。我们希望通过降维的万式米寻找数据内部的特性,从而提升特征表达能力,降低训练复杂度。主成分分析(PrincipalComponents Analysis,PCA)作为降维中最经典的方法,至今已有100多年的历史,它属于一种线性、非监督、全局的降维算法。PCA旨在找到数据中的主成分,并利用这些主成分表征原始数据,从而达到降维的目的。举一个简单的例子,在三维空间中有一系列数据点,这些点分原创 2022-03-28 17:13:20 · 8576 阅读 · 4 评论 -
生成对抗网络(GAN)详解与实例
GAN介绍理解GAN的直观方法是从博弈论的角度来理解它。GAN由两个参与者组成,即一个生成器和一个判别器,它们都试图击败对方。生成备从分巾中狄取一些随机噪声,并试图从中生成一些类似于输出的分布。生成器总是试图创建与真实分布没有区别的分布。也就是说,伪造的输出看起来应该是真实的图像。 然而,如果没有显式训练或标注,那么生成器将无法判别真实的图像,并且其唯一的来源就是随机浮点数的张量。之后,GAN将在博弈中引入另一个参与者,即判别器。判别器仅负责通知生成器其生成的输出看起来不像真实图像,以便生成器更改其生成原创 2022-03-27 16:58:06 · 27604 阅读 · 169 评论 -
循环神经网络(LSTM)实现股票预测
LSTM 网络是一种特殊的循环神经网络,它在RNN 的基础上进行了改进,通过增加输入门、遗忘门和输出门,缓解了模型训练中梯度消失和梯度爆炸的问题,弥补了传统 RNN 模型的不足。LSTM 网络单元结构如下ht、ht-1 为当前单元及上一个单元的输出;xt 为当前单元的输入;sigmoid、tanh 为激活函数;图中的圆圈均表示向量之间的算术规则;Ct 为神经元 在 t 时 刻 的 状 态 ; ft 为 遗 忘 阈 值 , 该 阈 值 通 过sigmoid 激活函数控制细胞应该如何丢弃信息;it 为输原创 2022-02-23 14:51:33 · 2131 阅读 · 0 评论 -
基于LightGBM(LGB)的股票预测
LGB预测LightGBM(Light GradientBoosting Ma-chine)是微软亚洲研究所DMTK 团队的一个开源的算法,是一种基于决策树和 GradientBoosting的改进 模 型,可以用于常见的分类、回归等问题。LightGBM 和 XGBoost算法被分别称为机器学习中的“倚天剑”和“屠龙刀”,都是非常优秀的算法。LightGBM 有着很多的优点:使用基于直方图的算法,有着更快的训练速度和更高的效率;更少的内存占用;支持并行计算,并且由于在训练时间上的缩减而拥有处理大数据原创 2022-02-23 15:04:50 · 2985 阅读 · 2 评论 -
语义分割模型--LinkNet
这篇文章的全名为LinkNet: Exploiting Encoder Representations for Efficient Semantic Segmentation感兴趣的可以自行下载查看(1)LinkNet介绍LinkNet采用自编码器的思想,其架构分为两个部分:编码器和解码器。编码器将输入编码到低维空间,解码器从低维空间重建输入。由一个初始块、一个最终块、一个带有四个卷积模块的编码器块以及一个带有四个解卷积模块的解码器块组成。框架图如下,左边是编码器块,右边是解码器块(2)反卷原创 2022-03-23 17:33:32 · 4138 阅读 · 1 评论 -
循环神经网络RNN详解与实例pytorch
一、数据介绍本次实验采用的数据集是SNLI数据集,是 500,000 标记为英语的句子对。包括蕴含、矛盾,中立三种。蕴含: 可以通过前提推断出假设。矛盾: 可以推断出与假设相反。中立: 所有其他情况。下载数据集:import collectionsfrom d2l import mxnet as d2lfrom mxnet import gluon, np, npxnpx.set_np()d2l.DATA_HUB['SNLI'] = ('https://nlp.stanford.edu原创 2022-04-06 20:52:28 · 4901 阅读 · 0 评论