打开深度学习, 对于大部分小白, 编程已然令人生畏, 而更加令人难以接受的,那么,深度学习里的数学到底难在哪里?
线性代数:
想要学习深度学习, 你第一个需要理解透彻的学问是线性代数。为什么?因为深度学习的根本思想就是把任何事物转化成高维空间的向量, 强大无比的神经网络, 说来归齐就是无数的矩阵运算和简单的非线性变换的结合。这样把图像啊, 声音啊这类的原始数据一层层转化为我们数学上说的向量。
什么image to vector, word to vector 这些, 都在说的一件事情就是这类数学转化, 不同类型(我们通常称为非结构化数据)的数据最终成为数学上不可区分的高维空间的向量,所谓万类归宗。线性代数,就是对于这一类高维空间运算做的默认操作模式,可谓上帝的魔术之手。
因此你要驾驶深度学习这个跑车, 线性代数关系你到是否理解发动机的原理。
线性代数核心需要掌握的是线性空间的概念和矩阵的各项基本运算,对于线性组合, 线性空间的各类概念, 矩阵的各种基本运算, 矩阵的正定和特征值等等都要有非常深厚的功力。
概率论:
下一个我们需要讲解的是什么呢? 概率论基础 。概率论事整个机器学习和深度学习的语言 , 因为无论是深度学习还是机器学习所做的事情是均是预测未知。预测未知你就一定要对付不确定性。整个人类对不确定性的描述都包含在了概率论里面。
概率论你首先要知道的是关于概率来自频率主义和贝叶斯主义的观点, 然后你要了解概率空间这一描述描述不确定事件的工具, 在此基础上, 熟练掌握各类分布函数描述不同的不确定性。
我们最常用的分布函数是高斯, 但是你会发现高斯是数学书里的理想, 而真实世界的数据, 指数分布和幂函数分布也很重要, 不同的分布对机器学习和深度学习的过程会有重要的影响,比如它们影响我们对目标函数和正则方法的设定。懂得了这些操作, 会对你解决一些竞赛或实战里很难搞定的corner case大有裨益。
一个于概率论非常相关的领域-信息论也是深度学习的必要模块,理解信息论里关于熵,条件熵, 交叉熵的理论, 有助于帮助我们了解机器学习和深度学习的目标函数的设计, 比如交叉熵为什么会是各类分类问题的基础。
微积分:
微积分和相关的优化理论算是第三个重要的模块吧,线性代数和概率论可以称得上是深度学习的语言,那微积分和相关的优化理论就是工具了。 深度学习, 用层层迭代的深度网络对非结构数据进行抽象表征, 这不是平白过来的,这是优化出来的,用比较通俗的话说就是调参。整个调参的基础,都在于优化理论, 而这又是以多元微积分理论为基础的。这就是学习微积分也很重要的根源。
优化理论:
机器学习里的优化问题,往往是有约束条件的优化,所谓带着镣铐的起舞 , 因此拉格朗日乘子法就成了你逃不过的魔咒。
优化理论包含一阶和二阶优化,传统优化理论最核心的是牛顿法和拟牛顿法。
由于机器学习本身的一个重要内容是正则化,优化问题立刻转化为了一个受限优化问题。这一类的问题,在机器学习里通常要由拉格朗日乘子法解决。
传统模型往往遵循奥卡姆剃刀的最简化原理,能不复杂就不复杂。 而深度学习与传统统计模型的设计理念区别一个本质区别在于,深度模型在初始阶段赋予模型足够大的复杂度,让模型能够适应复杂的场合,而通过加入与问题本身密切相关的约束:例如全职共享,和一些通用的正则化方法:例如dropout, 减少过拟合的风险。
今天小编为大家带来的是机器学习程序算法干货!!
本期福利
机器学习基础
统计机器学习概率与算法
深度学习班数学模型
机器学习深度学习之算法图论概率分治
机器学习算法强化班
BAT机器学习回归神经网络
资料领取方式
关注公众账号【飞马会】
后台回复数字【61】
即可查看下载方式
往期福利关注飞马会公众号,回复对应关键词打包下载学习资料;回复“入群”,加入飞马网AI、大数据、项目经理学习群,和优秀的人一起成长!
回复 数字“5”大数据学习资料下载,新手攻略,数据分析工具、软件使用教程
回复 数字“8”大数据资料全解析(352个案例+大数据交易白皮书+国内外政策汇篇)
回复 数字“13”大数据技术教程+书籍+Hadoop视频+大数据研报+科普类书籍
回复 数字“14”小白| 机器学习和深度学习必读书籍+机器学习实战视频/PPT+大数据分析书籍推荐!
回复 数字“14”小白| 机器学习和深度学习必读书籍+机器学习实战视频/PPT+大数据分析书籍推荐!
回复 数字“15”大数据hadoop技术电子书+技术理论+实战+源代码分析+专家分享PPT
回复 数字“16”100G Python从入门到精通!自学必备全套视频教程+python经典书籍!
回复 数字“17”【干货】31篇关于深度学习必读论文汇总(附论文下载地址)
回复 数字“18”526份行业报告+白皮书:AI人工智能、机器人、智能出行、智能家居、物联网、VR/AR、 区块链等(附下载)
回复 数字“23”机器学习:怎样才能做到从入门到不放弃?(内含福利)
回复 数字“24”限时下载 | 132G编程资料:Python、JAVA、C,C++、机器人编程、PLC,入门到精通~
回复 数字“25”限资源 | 177G Python/机器学习/深度学习/算法/TensorFlow等视频,涵盖入门/中级/项目各阶段!
回复 数字“25”限资源 | 177G Python/机器学习/深度学习/算法/TensorFlow等视频,涵盖入门/中级/项目各阶段!
资深程序员想转行吗?点击“阅读原文”