![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 91
雪清Fand
养成写作的习惯!
展开
-
《MATLAB Deep Learning》Ch4 & Ch5 学习笔记
目录Ch4 - Neural Network and ClassificationBinary ClassificationMulticlass ClassificationCh5 - Deep LearningCh4 - Neural Network and ClassificationBinary Classification二分类问题只需要一个输出层结点,因为我们只需指定一个阈值 threshold 就可以把结果分为两类。当我们使用 Sigmoid 激活函数 + 交叉熵损失函数时,输出层误差有原创 2020-06-05 17:14:15 · 280 阅读 · 0 评论 -
《MATLAB Deep Learning》Ch3 - Training of Multi-Layer Neural Network 学习笔记
目录Back-propagation algorithmMomentumCost Function and Learning RuleBack-propagation algorithm由于隐藏层的误差项没有被很好地定义(不像输出层有真实值 did_idi),多层神经网络的发展停滞了许久。1986年,后向传播算法 Back-propagation algorithm 的引入解决了这个问题。考虑一个三层网络(输入—隐藏—输出),下面是隐藏层到输出层的转换:由前面的章节,我们已经知道对于隐藏层—输出原创 2020-06-03 17:42:21 · 323 阅读 · 0 评论 -
《MATLAB Deep Learning》Ch1 & Ch2 学习笔记
我是目录前言Ch1 - Machine LearningCh2 - Neural Networkdelta 法则SGD, Batch, and Mini BatchCh3 - Training of Multi-Layer Neural Network前言《MATLAB Deep Learning》,Phil Kim. 这本书实在太适合入门了,作者用平实易懂的语言由浅入深地介绍了深度学习的各个方面。书中并没有太多的公式,配套代码也很简洁。不过,若是想进一步深究背后的数学原理,还得参考其他书籍、文献。原创 2020-06-03 11:11:04 · 614 阅读 · 0 评论 -
李航:统计学习方法 学习笔记 6 logistic回归与最大熵模型
目录1. logistic分布函数1. logistic分布函数原创 2020-05-29 23:38:42 · 303 阅读 · 2 评论 -
李航:统计学习方法 学习笔记 5 决策树三问
我是一个目录1. 随机变量X的信息熵的上界2. 决策树中的信息增益特征选择法能否运用到其他模型?3. CART树剪枝1. 随机变量X的信息熵的上界参考:关于信息熵最大值的讨论。2. 决策树中的信息增益特征选择法能否运用到其他模型?个人感觉不可以,因为决策树中分类是基于if-then集合规则或条件概率的,不同模型的分类评价方法可能不一样。例如,利用信息增益筛选出来的特征对感知机不一定适用,也即if-then规则和决策超平面不一定相容。3. CART树剪枝先占个坑。...原创 2020-05-25 11:53:34 · 312 阅读 · 0 评论 -
李航:统计学习方法 学习笔记 4 朴素贝叶斯法三问
李航:统计学习方法 学习笔记 4 朴素贝叶斯法三问1. 贝叶斯定理2. 条件数学期望3. 极大似然估计法1. 贝叶斯定理2. 条件数学期望参考:https://wenku.baidu.com/view/cda1980e52ea551810a687c5.html3. 极大似然估计法参见概率论教材。...原创 2020-05-23 17:41:40 · 270 阅读 · 0 评论 -
李航:统计学习方法 学习笔记 3 K近邻法两问
李航:统计学习方法 学习笔记 3 K近邻法两问1. LpL_{p}Lp距离p趋向无穷时...2. KD树的搜索1. LpL_{p}Lp距离p趋向无穷时…2. KD树的搜索书上只是给了KD树的最近邻搜索算法,并未说明如何扩展到K近邻。暂时也未查到相关资料,先记一下。...原创 2020-05-22 22:04:32 · 247 阅读 · 0 评论 -
李航:统计学习方法 学习笔记 2 感知机三问
李航:统计学习方法 学习笔记 2 感知机三问1. 空间中任意一点x0到超平面S的距离公式推导2. Novikoff 定理中为何可以直接令 ∣∣w^opt∣∣=1||\hat w_{opt}||=1∣∣w^opt∣∣=1 ?1. 空间中任意一点x0到超平面S的距离公式推导参考 空间中任意一点到超平面距离的公式推导。2. Novikoff 定理中为何可以直接令 ∣∣w^opt∣∣=1||\hat w_{opt}||=1∣∣w^opt∣∣=1 ?将偏置b并入权重向量w,则有 w^=(wT,b)T\原创 2020-05-19 19:55:53 · 261 阅读 · 0 评论 -
李航:统计学习方法 学习笔记 1 统计学习方法概论
李航:统计学习方法 学习笔记 1 统计学习方法概论前言1.1 统计学习1.2 监督学习1.3 统计学习三要素1.3.1 损失函数和风险函数1.3.2 经验风险最小化和结构风险最小化1.4 模型评估与模型选择1.5 其他...前言考研终于告一段落,接下来是安心等待入学。想利用这段时间系统学习一下机器学习基础,简单记录一下自己的学习过程,也算是对自己的一种监督。1.1 统计学习统计学习(statistics learning)关注概率统计模型,也称为统计机器学习(statistics machine原创 2020-05-18 15:40:56 · 708 阅读 · 0 评论 -
维特比算法实现 李航《统计学习方法》
% 维特比算法实现% 参考:李航《统计学习方法》 P208% Author: xueqing, 2019-08-19%% 输入% A: 盒子状态转移矩阵% B: 观测概率矩阵;% pi:初始概率分布% Ou: 观测序列A = [0.5, 0.2, 0.3; 0.3, 0.5, 0.2; 0.2, 0.3, 0.5];B = [0.5, 0.5; 0.4, ...原创 2019-08-19 10:36:07 · 443 阅读 · 0 评论