李宏毅深度学习——初识机器学习

序言：本人在研一下学期选修了深度学习和机器学习课程，但只能算通过课程考核，对重要的核心思想理解甚微。故打算通过李宏毅老师的视频(2017和2021春）以及2014年斯坦福的机器学习教程重新理解并作此文，希望未来的科研在相关知识的理解和应用上有所精进，也希望本博客对志同道合的学习者有所助益。
（重点在个人理解，深度学习部分会更详细）

机器学习理念

希望机器和人一样聪明，提出人工智慧。希望机器有学习的能力，采用的手段就是机器学习。首先考虑生物的行为，它取决于两件事，一个是后天学习的结果，另一个是先天的本能。“先天的本能”可以理解成事先设计的规则，但是对于机器来说，过多的规则非常死板，它也不会超过设计它的人，这不是人工智慧。

不过，一个聪明的AI模型离不开优秀的AI训练师，模型的选择和评估指标的确定就是关键，所以我们需要学习机器学习。

机器学习的思路

（图片来自李老师视频）

machine learning所做的就是在寻找一个function，对于特定任务，要让机器拥有一个有效率的演算法，从function的set里面挑出最好的function。

机器学习相关技术

这里提及的相关技术，我理解为广义的分类。（个人认为深度学习也就是一种基于监督学习的框架方法）

• 监督学习，使用标记DATA
  • 回归，输出一个值
  • 分类，输出类别（方法分为）
    • 线性模型
    • 非线性模型
      • 决策树，K-NN
      • 深度学习
  • 结构化学习
• 减少标注DATA的两种方法
  • 半监督学习
  • 迁移学习，考虑问题的相关性
• 无监督学习，没有标记数据，找到数据中的结构
  • 聚类
  • 鸡尾酒问题，SVD（斯坦福教程）
• 强化学习，没有data做监督学习

参考资料：
1.李宏毅老师视频 https://www.bilibili.com/video/BV1Ht411g7Ef