详细内容请关注微信公众号:运筹优化与数据科学
ID: pomelo_tree_opt
方老师的课,Shu-Cherng Fang, North Carolina State University
Supervised Machine Learning:
-
Support Vector Machines (SVM)
-
Neural Networks (NN)
System analytics vs. Data analytics
-
Data analytics更强调是从data到information / knowledge的过程
-
System analytics也有data analytics的过程,但是更侧重decision-making.
System analytics 是给系统工程,管理系统等专业的,要有“系统”的概念,尤其是偏“工程”相关的专业,工业工程、系统工程等。
AI的三个基本步骤
data mining --> machine learning --> analytics
Computers examine data to extract embedded information (data mining) to form useful knowledge (machine learning) for right decision making (analytics)
AI的三个基本分类
-
(1) 有监督的学习,主要是分类和预测,主流的有支持向量机和人工神经网络
-
(2) 无监督的学习,主要是聚类和特征工程,相关的内容有similarity learning and spare solutions. Feature的东西,feature往往是越少越好,用较少的特征来描述问题
-
(3) 强化学习,reinforcement learning, 首先强调的是动态环境,dynamic environment, 因为环境在变,所以相比之下data的属性没有那么强,更强调动态过程,“且战且走”,相关的内容有动态规划、马尔可夫决策过程、强化学习。
Machine learning vs. optimization
Machine learning的问题往往要么是最小化损失函数,要么是最大化一些回报函数
Many machine learning problems are formulated as
-
minimization of some loss function that measures discrepancy between the predictions of the model being trained and the actual problem instances,
-
maximation of some reward function that affirms an expected decision.
两者的一个重要区别是
-
Optimization是在seen examples上做文章,做generalization, 是希望“当前做到最好”
-
Machine learning更关心的是在unseen samples上的表现,做泛化时往往“留有余地”,因为目标是“以后做到最好的可能性最大”
Research并不神圣,其实就是要知道事情的来龙去脉,要知道它可以怎么做,做出来可以是什么样子。读paper时理解不了,往往并不是作者比我们聪明,或者说我们自己的知识太差,而是我们不知道应该怎么看待它,怎么去欣赏或辨析,怎么去appreciate.
Data science更多的是engineering的事情,要强调动手去实现、去练习。大部分都是engineering solution, 而不是mathematical solution.
动手就需要工具,Matlab, Python, Java, Cplex, Gurobi, etc. 工学院的研究生,“谋生的工具”,“吃饭的家伙”