最优化理论与机器学习
文章平均质量分 85
Swair_Fang
这个作者很懒,什么都没留下…
展开
-
模式识别(Pattern Recognition)和机器学习(Machine Learning)
模式识别强调的是对当前样例的分类与聚类,而机器学习强调的是设计一个能使对当前样例分类聚类的目标函数,侧重于训练学习算法。机器通过训练学习后才能用来应用于模式的识别。机器学习就是分类器、决策函数的设计。模式识别由数据获取、预处理、特征提取、分类决策、分类器设计五部分组成,主要研究问题是特征的选取与优化、分类判别、聚类判别。机器学习侧重于通过提取的特征训练样例进行分类器的设计。原创 2013-04-02 14:17:09 · 3247 阅读 · 0 评论 -
最重要的32个算法
奥地利符号计算研究所(Research Institute for Symbolic Computation,简称RISC)的Christoph Koutschan博士在自己的页面上发布了一篇文章,提到他做了一个调查,参与者大多数是计算机科学家,他请这些科学家投票选出最重要的算法,以下是这次调查的结果,按照英文名称字母顺序排序。A* 搜索算法——图形搜索算法,从给定起点到给定终点计算出转载 2013-06-19 15:26:51 · 901 阅读 · 0 评论 -
机器学习10大经典算法
1、C4.5机器学习中,决策树是一个预测模型;他代表的是对象属性与对象值之间的一种映射关系。树中每个节点表示某个对象,而每个分叉路径则代表的某个可能的属性值,而每个叶结点则对应从根节点到该叶节点所经历的路径所表示的对象的值。决策树仅有单一输出,若欲有复数输出,可以建立独立的决策树以处理不同输出。从数据产生决策树的机器学习技术叫做决策树学习, 通俗说就是决策树。决策树学习也是转载 2013-06-19 15:44:59 · 1338 阅读 · 1 评论 -
贝叶斯法则的一个例题
1、甲袋中有5只白球, 7 只红球;乙袋中有4只白球, 2只红球.取甲、乙两袋的概率相同, 现在任取一袋,从所取到的袋子中任取一球(1)、发现所取袋子是甲,问此白球是从甲袋中取出来概率多少?(2)、问此球是甲袋中白球的概率是多少?(3)、发现是白球,问此白球是从甲袋中取出来概率多少?解析:首先看样本空间。一共有18个球。样本空间为18个点。代表着取到的每个球。先求两种情况原创 2013-04-02 16:22:14 · 4763 阅读 · 0 评论 -
贝叶斯学习决策算法
若已经总共有M类的物体,以及各类在这n维特征空间的统计分布,具体来说是根据已知的各类别wi的先验概率P(wi)及类条件概率密度函数P(X|wi),i=1,2,...,M。对于待测样品,贝叶斯公式可以计算出该样品分属各类别的概念,叫做后验概率,P(wi|X)=P(X|wi)P(wi)/P(X),i=1,2,...,M。步骤:1、根据已知训练样本中类别wi, i=1,2,...,M的频率或原创 2013-04-22 11:07:59 · 1351 阅读 · 0 评论 -
贝叶斯最优分类器的一个实例MATLAB代码
clc;clear all;close all;%训练集SampleMark={'咳嗽','头晕','体温','流感'}Sample={ '是','是','正常', '否';.... '是','是','高', '是';.... '是','是','非常高','是';.... '否','是','正常', '否';....原创 2013-05-02 15:22:55 · 5760 阅读 · 1 评论 -
K-means聚类算法Matlab代码
K-means算法的matlab代码,输入样本和聚类个数,返回所有类内距离和之和和收敛迭代次数,画图部分,用了基本的7种颜色,故8类以上无法画图会有提示,并且4维以上无法画图。%-----------------------K-means聚类函数---------------------------------%入参:% NumCluster 聚类个数% x原创 2013-05-22 08:52:43 · 10764 阅读 · 7 评论 -
最优化理论与算法部分整理-常见的参数搜索算法
参数搜索算法的重要性不言而喻,涉及到优化准则的地方总会要用到,下面这些主要是最优化理论中的凸集优化理论。这些算法常用于无法用数学方法得到解集时而用的方法,例如非线性规划等问题。计算方法最常见的是迭代梯度递减算法和随机搜索算法。一、有约束问题:一维搜索:1、试探法a、黄金分割法(0.618法)计算步骤:b、Fibonacci法计算步骤:原创 2013-03-27 11:37:28 · 3597 阅读 · 0 评论 -
增强学习
增强学习要解决的是这样的问题:一个能够感知环境的自治agent,怎样通过学习选择能达到其目标的最优动作。考虑一个机器人(agent)通过传感器观察周围环境状态(state)并作出一组动作(action)改变这些状态。学习的任务是获得一个控制策略(policy),以选择能达到目的的行为。假定agent的目标可被定义一个回报(reward)函数,它对agent从不同的state中选取不同的ac原创 2013-04-11 15:10:26 · 835 阅读 · 0 评论 -
BRUTE-FORCE贝叶斯概念学习
回顾机器学习中一些概念及学习过程C:目标函数类(理想目标函数空间)c:目标概念(在C中所需的一个理想目标函数)X:实例集合{},i=1,2,...,∞H:假设空间(实际学习的目标函数所在的函数空间)h:某一假设(在H中实际学习的的一个目标函数)D:训练样例集合{},i=1,2,...,n,定义c(x)=1的训练样例为正例,c(x)=0的训练样例为反例学习原创 2013-04-03 09:32:56 · 1485 阅读 · 0 评论