大数据机器学习（一）概述

2020.09.17 星期三课程笔记

1.学习资源

（1）在线课程

①清华学堂在线-袁春老师的《大数据机器学习》
②李宏毅的机器学习课程（中文）
③林轩田《机器学习基石上下》（中文）
④CV Stanford Li Feifei CS231N
⑤NLP Stanford CS224N
⑥Machine Learning: Andrew Ng 个人推荐这个可以看看
⑦Neural Networks for Machine Learning: Geoffrey E. Hinton

（2）参考书

其中以李航老师《统计学习方法》第二版为主要教材，南大周志华老师的“西瓜书”《机器学习》为辅，有兴趣还可以看看第三本《PRML》和最后一本“鲜花书”《Deep Learning》

2.期末考核方式

3.机器学习（Machine Learning）是个啥

（1）机器学习的定义

其实没有标准定义，各有个的说法，常见的有以下几种定义：
① “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。
② “机器学习是对能通过经验自动改进的计算机算法的研究”。
③“机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。”
④ A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.

（2）机器学习相关概念

以后在教材及论文中会经常遇到这些词
Artificial Intelligence 人工智能
Deep learning 深度学习
Data mining 数据挖掘
Computer vision 计算机视觉
Statistical learning 统计学习
AI\ML\DL有以下包含关系

Q1：Representataion Learning 是什么？
表示学习，具体见下面链接
https://blog.csdn.net/u010417185/article/details/83089882
注：MLP 多层感知机
ML 数据分析工具
DB 数据管理工具

机器学习和统计学习关系密切，有人提出这个公式

4.机器学习发展历程

起源于，1956年达特茅斯会议

用一张图片展示主要几种算法发展过程

Convolutional Neural Network 卷积神经网络（CNN）
Hinton等人提出，2012年在ILSVRC大方异彩，大幅度降低了错误率。
注：人类分类错误率5.1%
内部结构图我还没看明白


图灵奖三位大佬及其工作

机器学习两大顶会: ICML & NeurIPS
发展报告上呀近十年最佳论文，有时间可以看看

5.迁移学习

形象理解：比如你会打乒乓球，那么学习打羽毛球就更容易。

从源模型迁移到目标模型上：

有一说一，这个公式没懂呀！

6.强化学习

2016年Alphago以3:1战胜围棋大师李世石；
AlphaZero不需要专家数据，通过自训练（Self-Play）进行学习和评价
以3:0战胜围棋世界冠军柯洁

在星战游戏上，AlphaStar所向披靡！

7.思考深度学习的问题

众所周知，神经网络可解释性是真的差，只看最终结果无法判断问题出在哪里。如何透明化，是个问题？

好了，第一节先到这啦！下课！