大数据分析
joker-smart
目前为在校学生,学习并总结各种已经做过项目的经验以及学习语言的一些精髓
展开
-
多层神经网络权重研究(一)
近期学习了关于神经网络权重相关的优化算法,其中包括权重初始化以及解决过拟合问题的相关方法,本篇着重讲解**权重初始化**部分,并大致介绍模型过拟合的思考方向,下一篇则会通过介绍通过正则化、Batch Norm来解决过拟合问题的做法。为了研究的比较透彻,还额外参考了比较多其他大佬的博客,大概了解了其优化思路,希望能够对看到这篇博客的人有所帮助。...原创 2020-05-23 23:03:26 · 1692 阅读 · 0 评论 -
结合numpy及mnist库的简单神经网络演练
使用numpy进行神经网络简单实战由于我发现我以前的文章可能有些复杂和长篇大论,以至于很多读者为我的博文不太买账,所以结合着我学习的过程来分享一些简单的实战,从而让我也更加熟练掌握numpy的使用。mnist库mnist库分享这个库是作者积累0-9手写体数字的28*28像素的图片库,只有黑白像素点,无比较复杂的彩色像素,所以作为机器学习、神经网络的初步学习非常有用。其中最重要的就是mni...原创 2020-03-26 19:58:11 · 604 阅读 · 0 评论 -
python实现梯度下降优化算法
友情链接结合numpy及mnist库的简单神经网络演练用numpy构造多种损失函数使用Numpy实现简单二层神经网络实现二层神经网络反向传播文章目录友情链接前言正文SGD算法基础优点缺点简单实现momentum算法基础优点缺点简单实现AdamGrad算法基础优点缺点简单实现RMSProp算法基础优点缺点简单实现前言在前面的博客中,我们已经能够基本完成一个简单神经网络的编写,通过使用反向传播的方式来有效地提高了计算速率。而前面构造的简单神经网络除了使用最普通的SGD外,像mini-batch一.原创 2020-05-16 21:06:50 · 1187 阅读 · 0 评论 -
实现二层神经网络反向传播
友情链接用numpy构建多种损失函数使用mnist进行神经网络演练使用numpy实现简单二层神经网络前记通过上面三篇博客的撰写,大概了解到了前馈神经网络的基本架构,并且完成了一个能够训练的简单二层神经网络。但是问题也非常的明显:采用解析法(即求导法则)进行神经网络训练,每更新两次输入数据并进行前馈计算,才能获取到一个权重或者偏置的导数,显然成本大的惊人,不适合大数据的实现方式,因此,通...原创 2020-05-07 23:15:46 · 1401 阅读 · 0 评论 -
使用Numpy实现简单二层神经网络
前言本文基础用numpy构建多种损失函数结合numpy及mnist库的简单神经网络演练正题本文通过对前向神经网络的基本学习,来完成一个简单的、效率并不高的mnist库的二层神经网络训练模型,方便记录神经网络的基本学习。基本思路初始化二层神经网络权重通过predict()函数完成神经网络前向预测功能(包括sigmoid函数以及softmax函数编写)编写loss()函数来计算一...原创 2020-04-23 20:36:27 · 1105 阅读 · 3 评论 -
用numpy构建多种损失函数
友情链接结合numpy及mnist库的简单神经网络演练写在前面上篇通过numpy简单做了一个mnist的前馈神经网络的例子,这一次为了实现反馈神经网络的想法,就需要构建一个非常重要的函数——损失函数来衡量参数预测的准确度,进而通过梯度下降等方式训练参数缓缓达到损失函数的局部最小值,那么这接主要通过numpy函数来整理损失函数。本节重点不是讲解理论而是实现,当然下面有理论的相关连接,想刨根...原创 2020-04-03 22:59:00 · 2035 阅读 · 1 评论