机器学习笔记本
机器学习的学习小笔记
Jeremy Liang
这个作者很懒,什么都没留下…
展开
-
机器学习算法笔记--------K-近邻算法
基本思想: 假设训练集中每个数据都是已标记的数据。 当输入一个新样本的时候,将新样本的特征和数据集中的数据进行特征比对。 找出最相似的前k个数据。(欧式距离-L2范数,闵科夫斯基距离-Lp范数) 统计这k个数据的标签,其中出现频率最高的一个标签,就是我们的预测结果。(多数表决) 优缺点: 优点:精度高 缺点:计算复杂度高,空间复杂度高。没有显...原创 2018-11-21 10:07:18 · 172 阅读 · 0 评论 -
机器学习算法笔记--------决策树
摘要 决策树包含三个主要过程:特征选择,决策树生成,决策树剪枝。 其核心思想是计算集合无序程度,主要算法有ID3,C4.5和CART 背景知识 信息熵 假设变量X的可能取值为Xi,i=1,2,……,n。变量X取值为Xi的概率为: 那么随机变量X的信息熵为: 条件熵 变量Y在给定条件X下的信息熵: 信息增益 定义:特征A对训练数据集D的信息增益,g(D,A), 定义为集合D...原创 2018-11-27 14:54:21 · 392 阅读 · 0 评论