机器学习的目的: 1.分类,2.聚类,3.回归/拟合/函数逼近→预测
学习的过程,本质上就是学习权系数,权系数→知识,知识存储在权系数中。
输入/输出 + 数据 = 有用的模型
问题要定义好,信息存储在权重中
一种学习方法:
目的:学习权系数
分类:
1.监督学习: Xi→Yi
2.非监督学习: 聚类,竞争网络
规则:
就是学习方法
Hebb学习规则
最小均方误差(LMS)
误差纠正学习
竞争学习规则
自适应滤波器(自动调整/迭代)
...
指标:
均方误差(MSE)(信号是随机的)minE(e^2)
优化技术:
梯度下降等等
在现实生活中,概率密度是不知道的,因此在生活中:统计→概率,大数定理(统计思考)
具体问题:
学习曲线(MSE变化曲线)
学习率
创新(修改权系数),需要理解原理的基础上,再创新
感知器:网络结构,可以用作逻辑运算
感知器→多层感知器
数据特别重要(做有影响力的研究,数据规模要大,上百万,数据不够易过拟合)
应用:
学习+数据,爬虫软件(枪分类),图像识别(猫学习),语音识别,编码,金融数据预测,
一、定义:
分类器(Classifier)是一种机器学习计算机程序,归属人工智能范畴。应用在搜索引擎以及各种检索程序中。同时也大量应于数据分析与预测领域。他的设计目标是在通过自动学习后,可自动将数据分到已知类别,其本质为数学模型,针对模型的不同,有很多种分支。
Bayes分类器、KNN分类器、BP神经网络、Adboost分类器、决策树、SVM
二、分类器有线性分类器,和非线性分类器之分
(1)线性分类器:
单层感知器网络
贝叶斯
KNN
(2)非线性分类器::
多层感知器网络
决策树
(3)线性和非线性兼有的分类器(两面派):
SVM
三、分类器构造方法
统计方法:贝叶斯法、非参数法(近邻学习/基于事例学习),对应的知识表示判别函数和原型事例。
机器学习方法:决策树法、规则归纳法,前者对应为决策树或判别树,后者则一般为产生式规则
神经网络方法:主要是BP算法,本质上是一种非线性判别函数
四、几个重要的思想
AdaBoost思想
线性/非线性的思想
五、总结
基于几何空间(测量距离):如svm,寻找距离
基于概率空间(测量可能性):贝叶斯/似然函数,很多事物背后的概率模型是未知的,我们可以寻找近似的模型来模拟
六、期待
如何抓住概念和数学定义
查阅文献、分析文献、研究、演讲能力(表达能力)
如何看好的文章/书? 可能5篇文章,或精读5篇以上,慢慢就有想法了
如何做研究,指导自己做更好的研究
如何体现价值
知道了机理,才去创新
创新:理论创新、组合创新、应用创新
阅读笔记:论证与组织
1.研究进展 2.实验方法 3.主要问题 4.研究结果
学习内容:
理论
1.决策树、2.核方法(SVM)3.HMM(特别有必要研究一下) 4.AdaBoost(举个简单的例子,两个特征的,1995年) PAC框架
优点:
缺点:
应用
1.邮件分类、2.关键音效检测、3.人脸检测