李宏毅-2022机器学习-课程笔记-1深度学习简介

原文链接：https://zhuanlan.zhihu.com/p/506245181

注：本文是我学习李宏毅老师《机器学习》课程 2021/2022 的笔记（课程网站 ），文中图片来自课程 PPT。欢迎交流和多多指教，谢谢！

Lecture 1 Introduction of Deep Learning

Machine Learning ≈ Looking for Function

我的理解：机器学习要找到输入和输出之间的关系，也可以理解为映射关系，建模也就是找到合适的（映射）函数。

本课程主要关注 深度学习 ，即 Function 是 Neural Network （神经网络） 的情况。

1. 机器学习三要素

1.选择一个 模型 ( model / function )。注意，模型包含一些未知参数 ( unknown parameters ) ，这些参数要根据训练集的输入、输出数据拟合得到，例如下图中线性模型的参数 wi 取很大的值，这样的模型结构就是 “Fat” network。为什么要用 ”Deep“ 而不是 “Fat” Network 呢？

（想要知道原因，可以看这篇笔记：为什么是“深度”学习？）

听课收获

1.机器学习的三要素：model/function, loss, optimization，做作业时也有体会，每次训练之前，都要先定义这三项。

2.课程中介绍神经网络是从折线拟合的角度出发，这个角度很新颖，和我之前看的教程中从神经细胞结构（树突、轴突）出发不同。无论多么复杂的曲线，总可以通过许多的小折线拟合。

但是这种无限近似拟合法也可能存在过拟合的问题，因为我们是要寻找规律，而不是细节。当折线段的数量很多时（也就是一层有很多个神经元结构），就开始拟合细节或者说数据的抖动了，这是否就是 “Fat” Network 的弱点？

这篇文章对您有帮助的话，请点赞支持一下，谢谢！

关注我

@宁萌时光

，多多交流，一起学习提高吧！

阅读更多笔记，请点击：宁萌时光：李宏毅老师《机器学习》课程笔记-合辑目录

参考

李宏毅老师《机器学习 2022》，

课程网站：https://speech.ee.ntu.edu.tw/~hylee/ml/2022-spring.php

视频：https://www.bilibili.com/video/BV1Wv411h7kN