weixin_44605171的博客

自组织映射神经网络（Self-Organizing Map，SOM）是无监督学习方法中一类重要方法，可以用作聚类、高维可视化、数据压缩、特征提取等多种用途，其融入了大量人脑神经元的信号处理机制，有着独特的结构特点。...

上世纪 90 年代，人工神经网络研究人员得出了一个结论：有必要为那些缺少网络层固定拓扑特征的运算机制，开发一个新的类。也就是说，人工神经在特征空间内的数量和布置并不会事先指定，而是在学习此类模型的过程中、根据输入数据的特性来计算，独立调节也与其适应。...

持续（增量）学习三种场景

决策树算法既可以应用于分类任务也可以用于回归任务训练阶段：给定训练数据集中根据特征构建数测试阶段：根据构建好的树模型进行预测即可

模型：线性模型；策略：均方误差最小化；算法：梯度下降算法

逻辑回归理论与代码详解

机器学习中线性判别分析理论与代码实现详解

统计学习方法中主成分分析代码详解

支持向量机基本概念理解支持向量：距离超平面最近的几个训练样本点间隔：两个异类支持向量到超平面的距离之和支持向量机基本型对偶问题求解支持向量机问题就是求取最大间隔的 www 和 bbb ，即得到超平面使用拉格朗日乘子法可得到其“对偶问题”，拉格朗日函数如下：为什么通过对偶问题求解？KKT条件？软间隔基本原理：支持向量回归基本理解：算法原理：基本梳理，未完待续…参考链接：《西瓜书》、支持向量机、软间隔和支持向量回归...

决策树系列之前啃西瓜书，发现理论太深，因此换了个角度作知识总结。决策树是什么？决策树是采用树形结构用于推理判断最后实现分类的算法。信息熵是什么？信息熵是度量样本集合纯度最常见的一种指标，Ent(D)=−∑k=1∣y∣pklog⁡2pkEnt(D)=-\sum_{k=1}^{|y|}p_k\log_2{p_k}Ent(D)=−∑k=1∣y∣​pk​log2​pk​ 即样本D的信息熵，pkp_kpk​是样本所占比例，结论是：信息熵值越小，纯度越高基尼指数是什么？基尼指数反映了从数据集D中随机抽取两

L1范数就是向量元素的绝对值之和L2范数就是向量元素的各元素平方和再开根号作为损失函数，L1损失和L2损失解释：损失函数即真实值与预测值之间的差异性度量，L1损失就是所有样本真实与预测值的差值的绝对值之和，L2损失即所有样本真实与预测值的差值的绝对值的平方和优缺点分析：L2损失一定有一条最优的预测线，L1损失可能存在多个解；L1损失对异常值不敏感，鲁棒性更强正则化技术使用到L1正则和L2正则解释：正则化技术就是为了防止过拟合，所以限制了学习的权重，L1正则即权值的绝对值之和，L2正则即

线性模型机器学习三要素：模型、策略、算法。1.基本形式什么是线性模型？通过属性的线性组合构成预测函数，该函数就是属于线性模型f(x)=w1x1+w2x2+…+wdxd+bf(\pmb{x}) = w_1x_1+w_2x_2+\ldots+ w_dx_d+bf(xxx)=w1​x1​+w2​x2​+…+wd​xd​+b向量形式是 f(x)=wTx+bf(x)=\pmb{w}^{\mathrm{T}}\pmb{x}+bf(x)=wwwTxxx+b，这里的 w\pmb{w}www 和 b\pmb{b

西瓜书知识总结（第一、二章）第一章基本术语：属性(attribute)或者特征(feature)构成属性空间(attribute space)、样本空间(sample space)或输入空间d维样本空间 XXX，d即属性的个数YYY是标记空间(label space)或输出空间机器学习大致分为监督学习(supervised learning)与非监督学习(unsupervised learning)学得模型适用于新样本的能力，称为"泛化能力"假设空间，我的理解就是样本属性所有可能的组合集合空