学习笔记-神经网络

今天开始读《神经网络与深度学习》这本书,是从Tensorflow的官网中得到学习线索,一读之下果然由浅入深,通俗易懂,今天读完了第一小节,”使用神经网络识别喝手写数字“。

  • 感知机(Perceptron)。神经网络的基础,将输入空间转换到输出空间的函数,代数形式为:f(x)=sign(w•x+b),如下图所示:
    感知机示意
  • 感知机网络。通过组合多个感知机可以实现复杂的运算,每个感知机对一个单一因素进行判断,整个感知机网络可以综合所有的感知机实现最终的决策。
    感知机网络
  • S型神经元。神经网络学习算法的核心是学习感知机的权重w和偏置b,需要对权重(或偏置)的微小变化,能够引起输出的微小变化,通过反复迭代这这些微小变化,使输出(分类)获得更好的结果。S型神经元可以实现这个效果,它和感知机类似,但修改权重和偏重的微小变化只会引起输出的微小变化,其代数形式为:
    S型神经元
    其几何图形如下:
    这里写图片描述
  • 多层感知器或MLP。神经网络的输入和输出设计很直接,以手写识别数字为例,如果输入图像是64*64的灰度图像,那么需要输入64*64=4096个神经元;输出是0~9这10个数字,每个数字的输出值大于0.5表示”输入图像是该数字“,否则不是。隐藏层的设计可以认为是一门艺术,有很多的研究人员为隐藏层的开发设计了最优法则。
  • 梯度下降学习法。通过梯度下降学习法,尽可能找到最优的神经元权重和偏置,也就是代价值尽可能小的权重和偏置。梯度下降法的核心是对代价求导,也就是寻找一种选择Δv1和Δv2的方法使得ΔC为负:
    这里写图片描述
    用∇C表示梯度向量:
    这里写图片描述
    梯度下降算法的工作方式就是重复计算梯度∇C,然后沿着相反的方向移动,沿着山谷”滚落“:
    这里写图片描述
    梯度下降的更新法则:
    这里写图片描述

书中提供了Python的代码,可以实现手写数字识别,看起来不算太多,决定在今后几天把代码实际运行起来,通过调整相关的参数,深入理解神经网络的原理。

Python网络爬虫与推荐算法新闻推荐平台:网络爬虫:通过Python实现新浪新闻的爬取,可爬取新闻页面上的标题、文本、图片、视频链接(保留排版) 推荐算法:权重衰减+标签推荐+区域推荐+热点推荐.zip项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传,可轻松复刻,拿到资料包后可轻松复现出一样的项目,本人系统开发经验充足(全领域),有任何使用问题欢迎随时与我联系,我会及时为您解惑,提供帮助。 【资源内容】:包含完整源码+工程文件+说明(如有)等。答辩评审平均分达到96分,放心下载使用!可轻松复现,设计报告也可借鉴此项目,该资源内项目代码都经过测试运行成功,功能ok的情况下才上传的。 【提供帮助】:有任何使用问题欢迎随时与我联系,我会及时解答解惑,提供帮助 【附带帮助】:若还需要相关开发工具、学习资料等,我会提供帮助,提供资料,鼓励学习进步 【项目价值】:可用在相关项目设计中,皆可应用在项目、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面,可借鉴此优质项目实现复刻,设计报告也可借鉴此项目,也可基于此项目来扩展开发出更多功能 下载后请首先打开README文件(如有),项目工程可直接复现复刻,如果基础还行,也可在此程序基础上进行修改,以实现其它功能。供开源学习/技术交流/学习参考,勿用于商业用途。质量优质,放心下载使用。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值