Chang-Xiao Li Machine Learning 2019 Task1

学习打卡任务内容

• 了解什么是机器学习：

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

它是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域，它主要使用归纳、综合而不是演绎。

 

• 学习中心极限定理，学习正态分布，学习最大似然估计

1. 推导回归Loss function

   ---

   

2. 学习损失函数与凸函数之间的关系

   ---

   损失函数属于凸函数。

3. 了解全局最优和局部最优

• 学习导数，泰勒展开

1. 推导梯度下降公式

   ---

   

2. 写出梯度下降的代码

import numpy as np
# 待拟合公式 y=t1*x1+t2*x2+t3*x3+b
# 构造训练数据集
x_train = np.array([[1, 0., 1], [2, 2., 1], [3, 1., 2], [4, 1., 5], [5, 1., 1]])
theta1 = np.array([[7 ,9, 2]]).T
y_train = (x_train.dot(theta1) + np.array([[1],[1],[1],[1],[1]])).ravel() 
x0 = np.ones((5, 1))
input_data = np.hstack([x0, x_train])
m, n = input_data.shape

# 设置终止条件
loop_max = 10000000
epsilon = 1e-6

# 初始化theta（权重）
np.random.seed(0)
theta = np.random.rand(n).T # 随机生成10以内的，n维1列的矩阵

# 初始化步长/学习率
alpha = 0.000001
# 初始化迭代误差（用于计算梯度两次迭代的差）
error = np.zeros(n)

# 初始化偏导数矩阵
diff = np.zeros(n)

# 初始化循环次数
count = 0

while count < loop_max:
    count += 1  # 没运行一次count加1，以此来总共记录运行的次数
    
    # 计算梯度
    for i in range(m):
        # 计算每个维度theta的梯度，并运用一个梯度去更新它
        diff = input_data[i].dot(theta)-y_train[i]
        theta = theta - alpha * diff*(input_data[i])
    if np.linalg.norm(theta - error) < epsilon: 
        break
    else:
        error = theta  
print(theta)

• 学习L2-Norm,L1-Norm,L0-Norm

1. 推导正则化公式

   ---

   L2正则：使得模型的解偏向于范数较小的 W，通过限制 W 范数的大小实现了对模型空间的限制，从而在一定程度上避免了 overfitting 。

 

说明为什么用L1-Norm代替L0-Norm

---

lp球的形状随着P的减少的可视化图。

L1是L0的最优凸近似，比L0更容易优化求解。

学习为什么只对w/Θ做限制，不对b做限制