机器学习算法与实战
文章平均质量分 95
本专栏记录博主学习机器学习西瓜书得点点滴滴,还有每个章节对应得C++算法代码
htfenght
这个作者很懒,什么都没留下…
展开
-
聚类——机器学习(周志华)
原文链接聚类算法聚类是一种经典的无监督学习方法,无监督学习的目标是通过对无标记训练样本的学习,发掘和揭示数据集本身潜在的结构与规律,即不依赖于训练数据集的类标记信息。聚类则是试图将数据集的样本划分为若干个互不相交的类簇,从而每个簇对应一个潜在的类别。聚类直观上来说是将相似的样本聚在一起,从而形成一个类簇(cluster)。那首先的问题是如何来度量相似性(similarity measure)...转载 2018-11-02 09:42:57 · 605 阅读 · 0 评论 -
降维与度量学习——机器学习(周志华)
原文地址降维与度量学习样本的特征数称为维数(dimensionality),当维数非常大时,也就是现在所说的“维数灾难”,具体表现在:在高维情形下,数据样本将变得十分稀疏,因为此时要满足训练样本为“密采样”的总体样本数目是一个触不可及的天文数字,谓可远观而不可亵玩焉…训练样本的稀疏使得其代表总体分布的能力大大减弱,从而消减了学习器的泛化能力;同时当维数很高时,计算距离也变得十分复杂,甚至连计算...转载 2018-11-01 16:45:39 · 2510 阅读 · 1 评论 -
特征选择与稀疏学习——机器学习(周志华)
原文链接上篇主要介绍了经典的降维方法与度量学习,首先从“维数灾难”导致的样本稀疏以及距离难计算两大难题出发,引出了降维的概念,即通过某种数学变换将原始高维空间转变到一个低维的子空间,接着分别介绍了kNN、MDS、PCA、KPCA以及两种经典的流形学习方法,k近邻算法的核心在于k值的选取以及距离的度量,MDS要求原始空间样本之间的距离在降维后的低维空间中得以保持,主成分分析试图找到一个低维超平面来...转载 2018-11-01 19:54:21 · 3051 阅读 · 0 评论 -
集成学习——机器学习(周志华)
集成学习目录:个体和集成BoostingBagging与随机森林Bagging随机森林综合策略平均法投票法学习法多样性误差-分歧分解多样性度量多样性增强内容:个体和集成BoostingBagging与随机森林Bagging随机森林综合策略平均法投票法学习法多样性误差-分歧分解多样性度量多样性增强...原创 2018-11-01 15:44:43 · 2445 阅读 · 0 评论 -
贝叶斯分类器——机器学习(周志华)
贝叶斯分类器贝叶斯决策论贝叶斯决策论是概率框架下实施决策的基本方法。假设有N中可能的类别标记,即y={c1,c2,...,cN},λij是将一个真实标记的cj的样本误分类成ci所产生的损失。基于后验概率P(ci∣x)可获得将样本x分类成ci所产生的期望损失,即样本x上的“条件风险”假设有N中可能的类别标记,即y=\{c_1, c_2,...,c_N\}, \lambda_{ij}是将一个真实...原创 2018-10-23 17:44:21 · 1019 阅读 · 0 评论 -
支持向量回归
支持向量回归现在我们来考虑支持向量机得回归问题原创 2018-10-16 18:55:52 · 1842 阅读 · 0 评论 -
线性模型——机器学习(周志华)
线性模型f(x)=ω1x1+ω2x2+ω3x3+...+ωdxd+bf(\bm{x}) = \omega_1x_1 + \omega_2x_2 + \omega_3x_3 + ... + \omega_dx_d + bf(x)=ω1x1+ω2x2+ω3x3+...+ωdxd+bf(x)=ωTx+bf(\bm{x}) = \bm{\omega^Tx} + bf(x)=ωTx+b...原创 2018-09-27 16:36:32 · 2157 阅读 · 1 评论 -
C++实现线性回归
完整版见fenghaotong参考网上的代码写的LinearRegression.h/********************************************************************《周志华 机器学习》C++代码** htfeng* 2018.09.28** 第三章:线性模型* 定义一个线性回归的类*******************...原创 2018-09-28 16:54:27 · 8547 阅读 · 0 评论 -
决策树——机器学习(周志华)
决策树决策数学习的基本算法划分选择决策树的关键在第8行,如何选择最优划分属性,一般而言,随着划分过程不断进行,我们希望决策树的分支节点所包含的样本尽可能属于同一类别,即节点的“纯度”越来越高。信息增益“信息熵”是度量样本集合纯度最常用的一种指标。信息熵Ent(D)=−∑k=1∣y∣pklog(pk)Ent(D) = -\sum_{k=1}^{|y|}p_klog (p_k)Ent(...原创 2018-09-29 14:11:00 · 1679 阅读 · 0 评论 -
C++实现决策树
参靠网上的代码用C++实现的决策树,有点小问题。详细代码fenghaotongDecisionTree.h/********************************************************************《周志华 机器学习》C++代码** htfeng* 2018.09.30** 第三章:线性模型* 定义一个决策树的类*********...转载 2018-09-30 22:20:34 · 4340 阅读 · 0 评论 -
神经网络——机器学习(周志华)
神经网络神经元模型神经网络是由具有适应性的简单单元组成的广泛并行互连的网络,它的组织能够模拟生物神经系统对真实世界物体所作出的交互反应。感知机与多层网络y=f(∑iωixi−θ)y = f(\sum_i \omega_i x_i - \theta)y=f(i∑ωixi−θ)感知机油两层神经元组成,权重ωi(i=1,2,...,n)\omega_i(i = 1,2,...,n)ωi...原创 2018-10-08 15:04:43 · 1559 阅读 · 0 评论 -
支持向量机——机器学习(周志华)
支持向量机原创 2018-10-10 18:38:44 · 1028 阅读 · 2 评论 -
C++实现神经网络
原文地址BP神经网络原理及C++代码实现头文件ANN.h#ifndef _ANN_H_#define _ANN_H_#include<assert.h>#include<stdlib.h>#include<iostream>#include<string>#include<Windows.h>#include<c...转载 2018-10-15 16:19:19 · 6768 阅读 · 0 评论