神经网络
不过普通话一乙不改名
凡事预则立,不预则废
展开
-
神经网络前向反向传播对应pytorch中的顺序
学过神经网络的都知道,神经网络就是用多元微分来求导,参数每次加上这个参数的负梯度,从而不断地靠近极小值,减少损失。这只是一个大概的过程。其中具体的步骤可能更加复杂。比如多元微分反向传播的时候,具体怎么求值,怎么链接?这里给出一篇文章,看了以后会有很大的启迪。反向传播推导。 其次为什么通过不断地求负梯度就能减少损失呢?这里也给出一篇文章,都是我自己摸索过来地,对我启迪很大,感谢。 ...原创 2021-11-06 16:15:13 · 183 阅读 · 0 评论 -
交叉熵:从数学推理到机器学习应用
第一篇:什么是数学期望:链接 第二篇:详细地讲解信息熵,KL散度,交叉熵地联系与区别,纯数学推导:链接 第三篇:从机器学习的角度讲解交叉熵的应用:链接原创 2021-03-24 22:32:00 · 135 阅读 · 0 评论 -
决策树
1. 什么是决策树/判定树(decision tree)? 判定树是一个类似于流程图的树结构:其中,每个内部结点表示在一个属性上的测试,每个分支代表一个属性输出,而每个树叶结点代表类或类分布。树的最顶层是根结点。 2. 机器学习中分类方法中的一个重要算法 3. 构造决策树的基本算法 3.1 熵(entropy)概念: 信息和抽象,如何度量? 1948年,香农提出了 ”信息熵(entropy)“的概念 一条信息的信息量大小和它的不确定性有直接的关系,要搞清楚一件非常非常不确定的事情,或者是我们一无所原创 2020-11-03 12:32:50 · 243 阅读 · 0 评论