【机器学习-周志华】学习笔记-第七章

记录第一遍没看懂的
记录觉得有用的
其他章节:
        第一章
        第三章
        第五章
        第六章
        第七章
        第八章
        第九章
        第十章
        十一章
        十二章
        十三章
        十四章
        十五章
        十六章

第七章的前提:所有相关概率都已知
在这里插入图片描述
        7.1节首先定义了条件风险(公式7.1),然后把每一个样本的条件风险的数学期望表达了出来(公式7.2),然后返回来定义使得每个样本达到最小的分类器记录下来(公式7.3)。

极大似然估计

在这里插入图片描述
在这里插入图片描述

        极大似然估计是要先假设参数服从一个先验分布。可以看公式(7.12)(7.13)对应的例子,他假设了概率密度函数复制高斯分布,而高斯分布形式为: p ( x ) = ( 2 π σ 2 ) − 1 2 e x p ( − ( x − μ ) 2 2 σ 2 ) p(x)=(2\pi\sigma^2)^{-\dfrac{1}{2}}exp(-\dfrac{(x-\mu)^2}{2\sigma^2}) p(x)=(2πσ2)21exp(2σ2(xμ)2)。因此,相当与把高斯分布的表达式代入(7.10)之中,去解(7.11)中的问题。首先代入可得:
L L ( θ c ) = ∑ x ∈ D c l o g ( p θ c ( x ) ) = ∑ x ∈ D c l o g ( ( 2 π σ c 2 ) − 1 2 e x p ( − ( x − μ c ) 2 2 σ c 2 ) ) = ∑ x ∈ D c − 1 2 l o g 2 π σ c 2 − ( x − μ c ) 2 2 σ c 2 LL(\theta_c)=\sum_{x\in D_c}log(p\theta_c(x))=\sum_{x\in D_c} log((2\pi\sigma^2_c)^{-\dfrac{1}{2}}exp(-\dfrac{(x-\mu_c)^2}{2\sigma^2_c }))=\sum_{x\in D_c}-\dfrac{1}{2}log2\pi\sigma^2_c-\dfrac{(x-\mu_c)^2}{2\sigma^2_c } LL(θc)=xDclog(pθc(x))=xDclog((2πσc2)21exp(2σc2(xμc)2))=xDc21log2πσc22σc2(xμc)2
        然后是求偏导等于0:
∂ L L / ∂ μ c = ∑ x ∈ D c − ( x − μ c ) / σ c 2 = 0 ⇒ ∑ x ∈ D c x = ∑ x ∈ D c μ c ∂ L L / ∂ σ c 2 = ∑ x ∈ D c − 1 2 σ c 2 + ( x − μ c ) 2 2 ( σ c 2 ) 2 = 0 ⇒ ∑ x ∈ D c σ c 2 = ∑ x ∈ D c ( x − μ c ) 2 \partial LL/\partial \mu_c = \sum_{x\in D_c}-(x-\mu_c)/\sigma^2_c = 0 \rArr \sum_{x\in D_c}x= \sum_{x\in D_c} \mu_c\\ \partial LL/\partial \sigma^2_c = \sum_{x\in D_c}-\dfrac{1}{2\sigma^2_c }+\dfrac{(x-\mu_c)^2}{2(\sigma^2_c)^2 }=0 \rArr \sum_{x\in D_c}\sigma^2_c= \sum_{x\in D_c} (x-\mu_c)^2\\ LL/μc=xDc(xμc)/σc2=0xDcx=xDcμcLL/σc2=xDc2σc21+2(σc2)2(xμc)2=0xDcσc2=xDc(xμc)2
        即,参数最大似然估计为:
在这里插入图片描述

朴素贝叶斯分类器

        核心:假设所有属性相互独立,有
在这里插入图片描述
        对于离散属性:
在这里插入图片描述
        对于连续属性:在这里插入图片描述

EM算法

        在已知 x x x和上一步的 Θ t \Theta^t Θt的条件之下,隐变量 Z Z Z的数学期望:
在这里插入图片描述

### 周志华机器学习第七章内容概述 周志华编著的《机器学习》一书中的第七章主要讨论集成学习(Ensemble Learning)[^2]。这一章节深入探讨了通过构建并组合多个学习器来执行学习任务的方法和技术。 #### 集成方法的主要思路 集成方法的核心理念在于利用群体智慧,即通过聚合多个模型(通常称为“弱学习者”)的结果以形成更强有力的整体预测性能。这些个体学习器可以由不同的算法生成,也可以来自同一算法但在不同条件下训练得到的数据集上建立起来。研究表明,当单个分类器存在偏差或方差较大时,适当设计的集成方案能够有效降低泛化误差。 #### 主要集成策略 该章节介绍了几种经典的集成框架及其变体: - **Bagging**:Bootstrap Aggregating 的简称,通过对原始样本进行重采样创建若干子数据集,并基于各子集独立训练基础估计量;最终输出结果采用投票法或其他方式汇总各个成员的意见得出。 - **Boosting**:逐步迭代地调整权重分布使得后续加入的新成员更加关注之前错误较多的地方,从而实现整体提升效果的目的。Adaboost 是最著名的 Boosting 类型之一。 - **Stacking**:又名堆叠泛化(Stacked Generalization),它不仅考虑到了初级层面上的基础学习者的判断依据,还引入了一个元级(meta-level)的学习过程去进一步优化融合规则。 #### 实践应用指南 除了理论阐述外,这部分也提供了关于如何合理配置参数、选择合适的基分类器种类等方面的具体建议。此外,针对实际操作过程中可能遇到的问题给出了相应的解决方案提示。 ```python from sklearn.ensemble import RandomForestClassifier, AdaBoostClassifier, GradientBoostingClassifier # 使用随机森林作为bagging的一个例子 clf_rf = RandomForestClassifier(n_estimators=100) # Adaboost示例 clf_adb = AdaBoostClassifier() # 梯度提升树GBDT实例 clf_gbdt = GradientBoostingClassifier() ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值