机器学习
文章平均质量分 67
潮汐止处
仍什么也不懂
展开
-
【Machine learning】模型评估与选择(Model Evaluation and Selection)
我们该选择哪一个学习算法、使用哪一种参数配置,这就是机器学习中的模型选择问题。理想的解决方案是对候选模型的泛化误差进行评估,然后选择泛化误差最小的那个模型。但我们无法直接获得泛化误差,训练误差又由于过拟合现象的存在不适合作为标准,如何进行模型评估与选择?basic terms1.误差(训练误差和泛化误差)error(training error&generalization err...原创 2017-10-17 13:24:45 · 1040 阅读 · 0 评论 -
【Machine learning】K-NN(k-nearest neighbor)
knn是一种常见的监督学习方法。工作机制:给定测试样本,基于某种距离度量找出训练集中与其最靠近的k个训练样本,然后基于这个k个“邻居”的信息进行预测。懒惰学习,训练阶段仅仅是把样本保存起来,待收到样本后再进行处理。 1. K-NN算法简介 K-NN算法 ( K Nearest Neighbor, K近邻算法 ), 是机器学习中的一个经典算法, 比较简单且容易理解. K-N...转载 2017-11-07 10:06:42 · 568 阅读 · 0 评论 -
【Machine learning】决策树(decision tree )
三个问题:怎样选择根节点 怎样选择后继节点 什么时候停止(一颗决策树=》一个分类准则=》一个模型) 基本的算法: 对一开始提出来的三个问题进行解答: 1.选择最优属性ID3:最优属性选择信息增益最大的属性来作为最优属性 设D为用类别对训练元组进行的划分,则D的熵(entropy)表示为: 其中pi表示第i个类别在整个训练元组中出现的概率,...原创 2017-10-24 18:36:27 · 478 阅读 · 0 评论 -
【Machine learning】参数估计(个人通俗理解)
问题背景:我们知道了总体的分布,但不知道分布的参数,因此我们就要对未知的参数做出估计。两个类型的估计:1.点估计2.区间估计 1.点估计包括矩估计和极大似然估计1)矩估计:用样本矩去估计总体矩这里就可以用样本一阶矩(均值)估计整体一阶矩(均值),样本二阶中心矩估计(方差)整体二阶中心距(方差)2)极大似然估计:理解:利用已知的样本结果,反推最有可...原创 2017-11-10 18:17:28 · 10068 阅读 · 2 评论 -
【Machine learning】集成学习(ensemble learning)
“Ensemble methods” is a machine learning paradigwhere multiple(homogenous/heterogeneous)individual leaners are generated and combined forthe same problem.集成学习通过构建并结合多个学习器来完成学习任务,有时也被成为多分类器系统。一、介绍...原创 2017-11-28 18:05:29 · 707 阅读 · 0 评论 -
【Machine learning】神经网络
神经网络 上面两个讲得太好了。全连接前馈Learning or training process?所要考虑的问题:1.层数2.激活函数3.损失函数要做的就是根据loss调整参数。 调参数:超参数:需要人工调整的参数,上课讲了调整连接权重介绍了误差逆传播算法(error BackPropagation 简称BP)通过输出层的梯度项求出隐含层...原创 2017-12-05 10:45:58 · 219 阅读 · 0 评论 -
【Machine learning】贝叶斯分类器
首先: 贝叶斯定理 贝叶斯定理是根据条件概率得到的。在事件B发生前,我们需要对事件A发生的费率有一个粗略的判断,也即事件A的先验概率P(A);在事件B发生后,我们可以对P(A)进行一个修正,变成后验概率 P(A|B)。 先验概率与后验概率事情还没有发生,要求这件事情发生的可能性的大小,是先验概率.事情已经发生,要求这件事情发生的原因是由某个因素引...原创 2017-10-23 15:18:59 · 391 阅读 · 0 评论