学习记录（一）

2021李宏毅老师《机器学习基本概念简介》 的一个简单学习记录

Youtube：https://www.youtube.com/watch?v=Ye018rCVvOo&list=PLJV_el3uVTsMhtt7_Y6sgTHGHp1Vb2P2J&index=1

ML三大任务：

     1.Regression

     2.Classification

     3.Structured Learing——creat something with structure (image,document）

训练的步骤：

     step1:function with unknown

     step2:define loss from training data

     step3:optimization

关于step3:

      训练一般都是将训练集分为很多个batch，从第一个batch开始梯度下降更新未知参数，第二个batch在第一个batch更新参数的基础上再梯度下降进行更新，以此类推。

     经过全部的batch才算是一个epoch，而update是每一个batch都会更新。

     Example1：

     10,000 examples（N=10,000）

     Batch size is 10（B=10）

     How many update in 1 epoch?

             1,000 updates

 本节课的自我学习总结：

     预测YouTube频道的观看人数

     提到了Sigmoid和ReLU两个激活函数，用Sigmoid函数来拟合分段的曲线（piecewise linear curve）。这两个激活函数可以用来拟合任意的函数，比如这三个Sigmoid函数的相加再加上一个常数就可以用来拟合红色的曲线。

     网络的深度（deep）是隐藏层的个数，网络也并不是越深越好的，越深可能会产生过拟合的问题。