机器学习作业 3-layer Forward Neural Networks（BP算法）在ex4Data数据集

最新推荐文章于 2022-09-01 14:53:57 发布
最新推荐文章于 2022-09-01 14:53:57 发布
阅读量1.6k 收藏 15
点赞数 5
分类专栏： 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Avlon/article/details/82989953
版权

ML课堂作业，第五个是三层前向网络，老数据集ex4Data，首先把作业要求贴上来，一共可以分为两个部分，分别是手写版和tensorflow版，因为三层前向网络已经不是线性模型，所以也无法绘制出分类线，通过计算准确性来评估模型。

数据集是老数据集了，需要下载的可以在图中或前面的文章找到链接。三层前向网络是一个非常基础的神经网络，可以看成是若干个感知机的复合，可以选择任意激活函数，这里为了求导方便选择sigmoid，激活函数的作用是引入非线性变化，使得网络可以拟合非线性函数，下面给出网络结构

输入层的xi表示样本的每一个特征，输出层的yi表示样本属于第i类的概率，因为三层前向网络已经不是线性模型，所以我们无法向前面的模型一样在样本图上画出分类线，所以我们用正确率来评估模型的性能，为了避免过拟合以及能够准确评估模型，我们使用五重交叉检验，并取测试集上正确率的平均值作为模型最后的正确率。

训练过程的几个关键如上图，数据集以矩阵对的形式，其中样本x共有d个特征，可分为L个类别，我们还可以看出这种全连接的网络参数数量非常之大，在深度学习中这种全连接层一般放在最后或者干脆不用，最优化方法采用梯度下降，则对每个参数都要求对应的梯度，由于前向网络事实上是一个线性函数和激活函数的多重复合，所以梯度求导将运用链式法测，对链式法则不熟悉的同学可以回顾一下高数课本。

简单介绍一下交叉验证，我们学习模型的最终目的是在未知的样本上获得更好的预测性能，而不是追求在训练集上的最好性能，虽然训练集能一定程度的反应未知样本的特性，但可能存在无法反映的或者只有训练集中才有的特性，被我们的学习模型学得，这样会降低模型的泛化能力，所以我们并不使用整个数据集都来训练，我们选取一部分数据来训练一部分不参加训练用作测试。

k折交叉验证法就是将整个数据集分为不相交的k个部分，然后选取其中的一个部分为测试集，其他部分为训练集，获得测试准确率，然后重复上述步骤，直到每个部分都充当过一次

最低0.47元/天 解锁文章
Avlon
关注
  • 5
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
吴恩达机器学习笔记---ex4(python实现)
qq_45604750的博客
08-04 1632
练习链接 编程练习4：神经网络学习 1. 神经网络   在前面的练习中，您实现了神经网络的前向传播，并使用我们提供的权重来预测手写数字 。在本练习中，您将实现反向传播算法来学习神经网络的参数。 1.1 可视化数据   ex4data1.mat中获得一个包含5000个手写数字训练示例的数据集。.mat格式表示数据已保存为原生Octave / MATLAB矩阵格式，而不是像csv文件那样的文本（ASCII）格式。可以使用loadmat命令将这些矩阵直接读入程序。   ex4data1.mat中有5000个训.
手把手教你如何自己设计实现一个深度学习框架（附代码实现）
机器学习社区
12-25 4527
本文首先从深度学习的流程开始分析，对神经网络中的关键组件抽象，确定基本框架；然后再对框架里各个组件进行代码实现；最后基于这个框架实现了一个 MNIST 分类的示例，并与 Tensorflow 做了简单的对比验证。 >>加入极市CV技术交流群，走在计算机视觉的最前沿当前深度学习框架越来越成熟，对于使用者而言封装程
Pytorch学习笔记-第四章
屏幕里的日与夜
06-13 572
Pytorch学习笔记-第四章nn模块第四章nn注意事项全连接层多层子module卷积层池化层BN层dropout激活函数序列化网络RNNembedding层损失函数优化器nn.functional初始化策略深入理解nn.Module复杂网络中的嵌套复杂网络中的dropout钩子函数模型保存GPU运行nn与autograd的关系 记录一下个人学习和使用Pytorch中的一些问题。强烈推荐 《深度学习框架PyTorch：入门与实战》.写的非常好而且作者也十分用心，大家都可以看一看，本文记录按照该书学习Pyto
深度学习（PyTorch）——nn.Module的使用
qq_42233059的博客
09-01 1893
深度学习（PyTorch）——nn.Module的使用
PyTorch Tips (三):nn.Module
Tsehooo的博客
08-08 462
因为使用autograd可实现深度学习模型，但其抽象程度较低，如果用其来实现深度学习模型，则需要编写的代码量极大。在这种情况下，torch.nn应运而生，其是专门为深度学习设计的模块。torch.nn和核心数据结构是Module，它是一个抽象的概念，既可以表示神经网络中的某个层（layer）,也可以表示一个包含很多层的神经网络。在实际使用中，最常见的做法是继承nn.Module，撰写自己的网络层。下面来先看看如何用nn.Module实现自己的全连接层。全连接层，又名仿射层，输出y和输入x满足y=Wx + b
Towards-Realtime-MOT源代码学习之YOLOLayer中的forward()函数
Ji_HON的博客
12-29 1957
该函数用于计算置信度、目标框和id的损失。训练时，该函数在models.py中的Darknet()类中的forward()函数中调用 将batchsize改为1，依次输出各变量的值 def forward(self, p_cat, img_size, targets=None, classifier=None, test_emb=False): p, p_emb = p_cat[:, :24, ...], p_cat[:, 24:, ...] nB, nGh, nGw = p.s
机器学习-神经网络（neural networks）.txt
05-16
机器学习——神经网络（neural networks）机器学习——神经网络（neural networks）机器学习——神经网络（neural networks）机器学习——神经网络（neural networks）机器学习——神经网络（neural networks）机器...
GA-BP.zip_BP遗传算法_GA_GA-BP_neural network_神经网络
09-21
【标题】中的“GA-BP.zip”指的是一个包含GA（遗传算法）与BP（反向传播）神经网络结合应用的项目文件。GA-BP是一种优化技术，它将遗传算法的全局搜索能力应用于BP神经网络的权重和阈值调整，以改善网络的训练效果。...
图机器学习峰会-1-1 Graph Neural Networks for Learning Simulations.pdf
07-05
"图机器学习峰会-Graph Neural Networks for Large-scale Simulations" 本文将围绕图机器学习在大规模模拟中的应用进行讨论，以Graph Neural Network（图神经网络）为核心技术。我们将详细介绍模拟在科学和工程领域...
GA-BP.zip_GA--neural-network_GA-BP_Ga neural_遗传算法优化神经网络
09-20
遗传算法（Genetic Algorithm, GA）与神经网络（Neural Network, NN）的结合，即GA-BP（Genetic Algorithm Backpropagation），是一种强大的优化技术，用于提高神经网络的训练效果。这种组合策略利用了遗传算法的...
bp的分类算法
03-14
自己编写的两层python bp神经网络算法，是标准的bp算法
多层bp神经网络代码附带数据集
03-20
多层前馈神经网络bp(back propagation)代码附带数据集，matlab版本
3-layer neural network_neuralnetwork_python_stepbystep_
10-04
小型神经网络，三层，每层三个节点，在MNIST 数据集上进行训练，主要贡献：没有使用第三方神经网络库。全部使用python编写完成。
BP算法-matlab实现-iris数据集
09-03
实验中，采用iris分类数据进行测试。其中共有4种特征，3种类别。设置的网络参数为输入层为4(特征数)，隐藏层设置了1层。神经元个数为8，输出层为3(类别数)，激活函数采用的是sigmoid函数。训练的时候设置的mini_batch_size大小为120（训练样本个数），迭代次数为2000，采用的权重更新策略为批量梯度下降法。最终得到的训练模型在测试数据上进行测试，测试的准确率为1。过程中的验证集准确率变化见图3。在迭代到达600次的时候基本已经稳定，说明该网络结构得到的准确率大致就在这个范围。
神经网络（Neural Networks）是机器学习领域中的一种重要算法
最新发布
05-28
神经网络是一种模仿人脑神经元结构的计算模型，它是机器学习领域中的核心算法之一，尤其在深度学习中占据着至关重要的地位。神经网络通过构建大量的处理单元，即神经元，来模拟生物神经系统的功能，以此解决复杂的...
paddlepaddle 34 调整模型的layer结构与forward流程（实现layer的增删改与forward的修改）
a486259的博客
07-25 877
通常来说调整模型的layer结构与forward流程需要修改模型的定义代码，这会污浊了原始的模型定义代码。且，在源码层次进行模型结构修改后，会导致模型无法加载适应以前的预训练参数。为此博主实现了在不污浊模型定义代码的前提下，仅对model对象进行属性修改，实现了模型layer结构与forward流程的调整。本来博主在pytorch下是已经实现了该工作（），但是在应用到paddle下出现了水土不服，因此针对paddle框架在此进行该工作。本博文主要设置layer的新增、修改与删除，forward流程的修改。.
CS231n-assignment2-Fully-connected Neural Network
Esaka
07-18 1276
全神经网络 在前面的作业中，您在CIFAR-10上实现了一个完全连接的两层神经网络。实现是简单的，但不是非常模块化，因为损耗和梯度计算在一个单一的单片函数。对于一个简单的两层网络来说，这是可以管理的，但是当我们转向更大的模型时，这将变得不切实际。理想情况下，我们希望使用更模块化的设计来构建网络，这样我们就可以孤立地实现不同的层类型，然后将它们组合到具有不同架构的模型中。 在本练习中，我们将使用更模块化的方法实现全连接网络。对于每个层，我们将实现一个前向函数和一个后向函数。forward函数将接收输入、权重和
吴恩达机器学习课程作业——ML_ex1
xujie126的专栏
09-16 6514
第一次用Octave,语法和Matlab一样，熟悉一下即可，主要是对线性回归的整体思路要清晰，对Octave中每个函数一个单独文件的方式理解，跟着“ex1”中的提示就能一步一步的写出核心代码，巩固课程内容。 ex1思路清晰，很简单，用来熟悉整个Octave语法和梯度下降的原理：下面记录代码 第一个：需要实现的是ComputeCost.m function J = comp...
吴恩达机器学习课后作业4——利用神经网络的反向传播（ BP）算法应用于手写数字识别
weixin_46915208的博客
06-13 838
在本练习中，您将实现神经网络的反向传播算法，并将其应用于手写数字识别任务。(从0到9)。
track-before-detect with neural networks
09-11
"Track-Before-Detect with Neural Networks"是一种利用神经网络进行目标跟踪前检测的方法。在传统的跟踪算法中，通常先进行目标检测，然后再进行跟踪。然而，在某些场景下，目标可能非常小、模糊或者被部分遮挡，传统的目标检测方法往往无法准确地检测到目标，从而导致跟踪失败。 "Track-Before-Detect with Neural Networks"的核心思想是在跟踪之前先对目标进行检测。而与传统的目标检测方法不同的是，它使用神经网络来实现目标检测，而不是基于传统的图像处理技术。神经网络通常可以更好地处理图像的特征提取和模式识别任务。 这种方法首先使用神经网络对图像进行处理，提取其中的特征。然后，基于提取的特征，在图像中进行目标检测。如果检测到了目标，就可以在该帧中进行跟踪，随着目标在不同帧之间的位置变化，通过更新模型来实现目标的连续跟踪。 相对于传统方法，"Track-Before-Detect with Neural Networks"有以下优势：首先，神经网络可以自动学习图像中的特征，无需手动设计特征提取算法。其次，神经网络具有较强的泛化能力，可以适应不同目标的形状、尺寸和外观变化。此外，神经网络还可以通过训练进行优化，提高准确性和鲁棒性。因此，这种方法可以在复杂的环境中更准确地检测和跟踪目标。 总之，"Track-Before-Detect with Neural Networks"是一种利用神经网络实现目标跟踪和检测的方法，具有较好的准确性和鲁棒性，在实际应用中具有广泛的应用前景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值