神经网络如同青蛙的智力

                                                             神经网络模型

       我理解的神经网络模型类似人的记忆,即人从出生到长大,接触、吸收外部信息并且将外部事物量化、统一化、概念化的过程,以此去指导一生的行为。

 

       实际上,神经网络模型ANN是由大量的简单基本元件组成,每个元件的结构和功能都比较简单,但是众多的神经元组合所产生的系统却非常复杂。神经网络模型属于一种较为智能的判别过程,对于变量类型并没有过多要求,可以有效地识别事物的不同特征以及模式,例如不完全的信息、复杂的非线性特征等等。

       通常,工作中使用的神经网络模型为弱能的神经网络,其智能程度犹如青蛙、老鼠的智力。目前,较为深层的神经网络模型已经开发了出来,例如谷歌的阿尔法狗便是深层的神经网络,其背后的算法支撑即为贝叶斯算法

       其实,并不需要过多的了解、关注神经网络模型背后的底层结构,工作中只需要会使用就可以了。

                                                             神经网络是黑箱

       项目过程中,很多人会问到使用的建模方法是什么,通常,这个问题我真的很难回答。如果模型的中间层为神经网络,那么该层即为黑箱

       我将作为黑箱的隐含层理解为模型的分析过程,每一个隐节点看做一个感知器,即可以产生多个超平面用于预测或者分类,也就是说,这样的黑箱如同人的思考、判断过程,当然了,优缺点并存,神经网络模型在解决预测类问题时具有非常多的优点,但是,神经网络模型也极大的限制了我们对于变量间具体关系的描述

                                                             数据挖掘的速度

        数据挖掘领域中,速度非常重要,其重要程度甚至超过了模型的精度,很多业务场景的数据挖掘项目中,往往不惜牺牲商业价值,也要追求速度

       神经网络模型也好、决策树模型也好、聚类也好,甚至市场细分模型组合也好,很多都是速度问题,一般我会从几个角度去解决数据挖掘模型的速度问题:

  • 通常,构建模型后预测新样本的方法为,将新样本接在原始样本后,重新跑次模型,从而得到预测数值,即需要跑次模型去得到预测数据,如果样本大些,显然会影响速度。一般,我会只保存训练集的模型,预测新样本时仅仅利用模型进行预测,这样做仅需跑一次模型即可,降低耗时

       模型并不是一成不变的,在模型更新维护的过程中,通常的做法是将新数据纳入原数据样本中进行模型的更新迭代,这样便会导致样本更加的庞大,增加了时间成本。一般我仅仅使用新增的数据对模型进行更新,可以理解为人的思维方式,人在学习新鲜事物的时候,并不是回到1岁的状态重新开始学习,不是么

                                                             ANN建模过程

       神经网络模型的建模过程

  • 构建数据源

  • 设定X、Y与残差,其中X涉及测量级别的确定与标准化的过程,Y涉及误差分布

  • 抽取样本对于隐含层的层数进行测试

  • 通过评分集评估模型好坏

  • 保存训练的模型网络结构,利用该网络对新样本进行预测

                                                                建模中的坑

       构建神经网络模型的过程中需要注意的大坑很多,例如:

  • SAS EM中有两种神经网络,这两种神经网络与SPSS中的两种神经网络不同

  • 建模前需要进行数据预处理,例如缺失值处理、数据标准化处理等等,数据标准化是数据挖掘中常用的数据处理手段,其优点之一是可以降低建模耗时,并不会影响数据样本原有的性质

  • 确定模型隐含层数时,通常我会抽样一小部分样本,1-5层分别都会测试下模型效果,当然,隐含层数越多模型的效果并不一定会好

  • 我习惯使用R方与残差图衡量神经网络模型的效果;

  • 如果建模后发现模型准确率很低,可能是缺失值的填充方式出了问题导致模型精度下降,可以从这个角度进行核查;

  • 如果缺失值填补的方法并没有问题,然而模型精度仍然不高,则可能是入模变量的选取出了问题,通常我习惯使用dmine过程步进行入模变量的筛选,从而将大量无用、混杂的变量去掉,从而提升模型的精度其实这点与传统的模型不同,传统模型中塞入不重要的变量模型并不不会出现什么大的问题,但是神经网络模型必须处理掉无用的垃圾变量,否则模型非常容易出现过拟合,因此神经网络模型在选择最终的入模变量时,需要非常谨慎小心

我的公众号:Data Analyst

个人网站:https://www.datanalyst.net/

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: CIFAR-10 是一个常用的图像分类数据集,包含了 10 个类别的 60,000 张 32x32 的彩色图片,每个类别有 6,000 张图片。这些类别是:飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船和卡车。其中 50,000 张图片被用作训练集,剩余 10,000 张图片用于测试集。 卷积神经网络(Convolutional Neural Network,简称 CNN)是一种前馈神经网络,它的设计灵感来自于动物的视觉皮层的结构。CNN 的主要特点是利用卷积层和池化层对输入数据进行特征提取和降维,然后将提取到的特征输入到全连接层进行分类。在处理图像数据时,CNN 可以有效地利用局部相关性和平移不变性,使得模型具有较好的泛化能力。 在使用 CNN 对 CIFAR-10 数据集进行分类时,一般会使用多个卷积层和池化层进行特征提取,然后在全连接层进行分类。可以通过调整 CNN 的网络结构、参数设置和训练策略等法来提高模型的分类精度。 ### 回答2: 卷积神经网络(Convolutional Neural Network,CNN)是一种基于深度学习的神经网络,专门用于处理具有网格结构的数据,如图像、语音和文本等。而CIFAR-10是一个常用的图像分类数据集,包含10个不同类别的60000个32x32彩色图片。 卷积神经网络在CIFAR-10数据集上的应用,可以通过以下步骤来实现。首先,需要对RGB图像进行预处理,将其转换为数字矩阵,并进行归一化处理,以便于网络模型的训练。接着,可以构建一个卷积神经网络模型,包括卷积层、池化层、全连接层和softmax层等。卷积层用于提取图像特征,池化层则用于降低特征维度,全连接层负责将特征映射到最终的类别上,而softmax层则用于输出概率分布。 在训练过程中,可以使用反向传播算法来更新模型的权重参数,使得模型能够逐渐提高预测准确率。训练时,可以使用一部分数据作为训练集,另一部分数据作为验证集,通过验证集上的准确率表现选择最佳的模型参数。训练完后,可以使用测试集来评估模型在未见过的数据上的性能。 卷积神经网络在CIFAR-10数据集上的应用具有很高的准确率,可以达到90%以上的分类精度。对于更高的精度要求,可以尝试使用更深的网络结构,增加网络层数或者使用更大的模型进行训练。此外,还可以使用数据增强(data augmentation)来扩充训练集的规模,以增加模型的泛化能力。 ### 回答3: CIFAR-10是一个经典的图像分类数据集,由10个类别的60000个32x32彩色图像构。卷积神经网络(Convolutional Neural Network,CNN)是一种常用的神经网络结构,用于处理图像和其他类似的结构化数据。 卷积神经网络CIFAR-10是使用CNN对CIFAR-10数据集进行分类的过程。CNN通过卷积层、池化层和全连接层组,每一层都有一定数量的神经元。 卷积层通过使用卷积核对输入进行卷积操作,使得模型能够自动学习到图像中的特征,例如边缘、纹理等。卷积层中的每个神经元都对输入图像的一个小的局部感受野进行处理,从而捕捉到局部特征。多个神经元的输出组合在一起形下一层的特征图。 池化层用来减少特征图的尺寸,同时保留重要的特征。常用的池化操作是最大池化(Max Pooling),它选择输入特征图中每个小区域中的最大值作为输出。 全连接层用于将前面几层的输出连接起来,并通过一个激活函数来生最终的分类结果。通常情况下,最后一层的激活函数选用Softmax函数,它能够将输出转化为每个类别的概率。 在CIFAR-10分类任务中,可以使用多个卷积层和池化层来提取图像的特征,然后将特征输入到全连接层进行分类。训练过程通常使用反向传播算法来调整网络参数,以最小化分类误差。训练完后,可以使用该CNN对新的图像进行分类预测。 通过使用卷积神经网络CIFAR-10,我们可以实现高精度的图像分类任务,对于识别和分析图像数据具有重要意义。同时,卷积神经网络也被广泛应用于计算机视觉领域的其他任务,例如物体检测、语义分割等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值