机器学习
文章平均质量分 85
思灵月
从小鲜肉到柔腻大叔,从hello world 到 connect timeout
展开
-
机器学习笔记:ID3算法建立决策树(一)
ID3算法的核心思想以信息熵的下降速度作为选取测试属性的标准,所选的测试属性是从根节点到当前节点的路径上尚未被考虑的具有最高信息增益的属性。维基百科上对ID3算法有比较详细的介绍:ID3维基计算过程相关公式xx是一个离散型的随机变量,其概率分布为 p(x)=P(X=x),x∈Xp(x)=P(X=x),x∈X 则X的熵为 H(X)=−∑i=0np(xi)log2p(xi)H(X)=-\sum_原创 2016-09-22 16:47:05 · 5678 阅读 · 0 评论 -
机器学习笔记:逻辑回归
Sigmoid函数利用Sigmoid函数来求得回归系数 σ(z)=11+e−zσ(z)=\frac{1}{1+e^{-z}} 曲线图如下 x=0时,Sigmoid函数的值为0.5; x>0时,Sigmoid函数值大于0.5,x越大,函数值越接近1; x<0时,Sigmoid函数值小于0.5,x越小,函数值越接近0;为了实现逻辑回归分类器,在每个特征上都乘以一个回归系数,再把这些乘积相加原创 2016-10-10 10:19:28 · 1290 阅读 · 0 评论 -
机器学习笔记:ID3算法建立决策树(二)
在《机器学习笔记:ID3算法建立决策树(一)》中记录了ID3算法的计算公式和步骤,现在用例子记录一下ID3构建决策树的过程。 对以下数据进行分类: - 是否能飞? 是否有羽毛? 是小鸟? 1 是 是 是 2 是 是 是 3 是 否 否 4 否 是 否 5 是 否 是是否能飞用0,1表示,0不能飞,1能飞原创 2016-09-23 15:55:44 · 2003 阅读 · 0 评论 -
机器学习笔记:K-最近邻算法
K-最邻近算法(k-Nearest Neighbors)KNN基本思想计算输入值的坐标与当前所有点的坐标距离(利用勾股定理),将这些距离保存在一个递增的列表里,获取k个最小的距离的值,在这些值中找到最主要的分类,即出现次数最多的类别,这个列别就是要预测的输入值的类别。General approach to kNNCollect: Any method.Prepare: Numeric value原创 2016-09-21 10:50:38 · 833 阅读 · 0 评论 -
机器学习笔记:支持向量机
关键术语支持向量(Support Vector) 支持向量机(Support Vector Mechines,SVM) 序列最小优化(Sequential Minimal Optimization,SMO) 核函数(Kernel Function) 超平面(Hyperplane) 分隔超平面(Separating hyperplane) 点到分隔面的距离为间隔(margin)相关公式分隔原创 2016-10-13 14:51:31 · 1767 阅读 · 0 评论 -
机器学习笔记:贝叶斯算法(一)
有关贝叶斯定理和贝叶斯公式的推导过程,在阮一峰大神的博客里的《贝叶斯推断及其互联网应用(一):定理简介》写得非常全面,简洁明了。下面是我的个人笔记总结:贝叶斯定理基于假设的先验概率,给定假设下观察到的不同数据的概率,提供了一种计算后验概率的方法。 先验概率:由以往的数据分析得到的概率。 后验概率:得到信息之后再重新加以修正的概率。在人工智能领域是非常有代表性的不确定性知识表示和推理方法。条件概率原创 2016-09-29 11:36:09 · 2535 阅读 · 0 评论