LogHouse的博客

从零开始的机器学习0基础知识至线性回归一些问题与概念使用Python实现线性回归基础知识至线性回归一些问题与概念1、机器学习的概念是什么？机器学习学的是什么？机器学习通过计算的手段利用经验（通常为数据）来改善系统自身性能。研究的主要内容是关于计算机上从数据中产生“模型”的算法，即“学习算法”。P12、什么叫做泛化能力，我们可以通过哪些途径增强我们训练出的模型的泛化能力？学得模型适用...

从零开始的机器学习1-基础知识及线性回归线性模型及多分类一些问题梳理广义线性回归线性模型及多分类  承接上一篇，线性模型的部分内容已经讲过了，这篇主要讲剩下的内容，对应周志华《机器学习》第三章的大部分。一些问题1、最小二乘的原则是什么？写出多元线性回归的参数估计（写出推导过程）。最小二乘法指基于均方误差最小化来进行模型求解的方法，故最小二乘的原则是：均方误差最小。2、“对数几率”回...

从零开始的机器学习2-决策树一些问题对应西瓜书第4章内容。一些问题1、决策树学习算法包括哪几个部分？常用的算法有哪些？决策树算法过程主要包括：①划分选择；②树的生成;③剪枝处理。常用方法：ID3，C4.5，CART。2、 决策树的根节点、内部节点和叶节点分别表示什么？一般来说，一颗决策树结构包含：①一个根节点：对应属性测试；②若干内部节点：对应属性测试；③若干叶节点：对...

从零开始的机器学习3-神经网络一些问题对应周志华西瓜书第五章。一些问题1、试述常见的激活函数，试述将线性函数 用作神经元激活函数的缺陷。①阶跃函数;②Sigmoid函数:σ(x)=11+e−x,\sigma(x)=\frac{1}{1+e^{-x}},σ(x)=1+e−x1​,优点: ------缺点: 1)会有梯度弥散; 2)不是关于原点对称; 3)计算exp比较耗时.③Ta...

从零开始的机器学习4-支持向量机一些问题LSSVM的Python实现模型训练核函数模型使用关于$\gamma$和$\sigma$交叉验证整体框架主要内容对应周志华西瓜书第六章。一些问题1、试计算样本空间中的任意样本点 到超平面(w,b\bm{w}, bw,b)的距离。设样本空间中的某样本点为x=(x1,x2,...,xn)，n\bm{x}=(x_1, x_2,...,x_n)，nx=(x...

从零开始的机器学习6-强化学习一些问题智能控制与优化决策课题组制作。对应周志华《机器学习》第十六章内容。一些问题1、分析强化学习与监督学习的联系与差别。监督学习就是有导师学习，所学习的样例是有标签的。强化学习是无导师学习。但实际上，强化学习有一位隐形的导师，这个导师会告诉你所获得的奖赏，这些奖赏其实也是一种标签，不过这种标签需要通过学习得到。2、ε\varepsilonε-贪心法如...

从零开始的机器学习8-贝叶斯分类器一些问题编程实现朴素贝叶斯载入西瓜数据集贝叶斯分类统计不同类的先验概率统计每个特征的条件概率计算后验概率计算测试样本(结果)最可能的类别(原因)主函数智能控制与优化决策课题组制作。对应周志华《机器学习》第七章内容。一些问题1、解释先验概率、后验概率、全概率公式、条件概率公式，结合实例说明贝叶斯公式，如何理解贝叶斯定理？①先验概率：在贝叶斯分类中，先验...

从零开始的机器学习9-集成学习一些问题1．谈谈集成学习的概念和思想。2．集成学习方法可以分为哪几类，并且分别阐述它们的特点。3．在集成学习中，阐述针对二分类问题的AdaBoost算法实现过程。思考AdaBoost算法在每一轮如何改变训练数据的权值或概率分布?4．随机森林与集成学习之间有什么样的关系？python实现基于单层决策树的AdaBoost算法。智能控制与优化决策课题组制作。对应周志华《...