目录
规则需要专业领域专家制定,规则越来越强大,难以维护。
新的挑战:
人工设置特征会有很多限制;SVM处理大数据集效果不好;越来越多的数据需要处理非结构化数据;
1. 神经网络发展史
反向传播
深度学习发展的原因:算法、数据、显卡
2.线性模型
问题假设:
测试集测试其泛化能力(对于为训练的特征也能很好的识别)。
数据集(训练集、测试集)---->问题:只有训练集,测试之前想知道训练结果如何,无法知道真实的分布。
训练集(训练集、开发集)
简化模型:
权重取多少才能取到上述的图形:
首先随机猜测,随机取Y值,和真实值之间比较误差 ,找评估模型(损失函数),
以上是针对一个样本,三个样本就是取其平均值。(如何让平均损失降到最低)
穷举法:经过测试,权重在0-4之间可能存在一个损失最小的权重,计算所有的损失。最小的为最优。
import numpy as np
import matplotlib.pyplot as plt
x_data =[1.0,2.0,3.0] #输入样本
y_data =[2.0,4.0,6.0] #输出样本
def forward(x): #定义模型
return x * w
def loss(x,y): #损失函数
y_pred=forward(x)
return (y_pred-y) * (y_pred -y)
#权重损失值
w_list=[]
mse_list=[]
#采样间隔,生成序列
for w in np.arange(0.0,4.1,0.1):
print('w-',w)
l_sum=0
for x_val,y_val in zip(x_data,y_data):
y_pred_val=forward(x_val)
loss_val=loss(x_val,y_val)
l_sum+=loss_val
print('\t',x_val,y_val,y_pred_val,loss_val)
print('MSE=',l_sum/3)
w_list.append(w)
mse_list.append(l_sum/3)
plt.plot(w_list,mse_list)
plt.ylabel('Loss')
plt.xlabel('w')
plt.show()
3.梯度下降算法
x_data =[1.0,2.0,3.0] #输入样本
y_data =[2.0,4.0,6.0] #输出样本
#设定初始权重猜测
w=1.0
def forward(x):
return x*w
#对损失值求和
def cost(xs,ys):
cost=0
for x,y in zip(xs,ys):
y_pred=forward(x)
cost+=(y_pred-y)**2
return cost/len(xs)
#计算梯度 累加求和
def gradient(xs,ys):
grad=0
for x,y in zip(xs,ys):
grad+=2*x*(x*w-y)
return grad/len(xs)
print('Predict (before training)',4,forward(4))
# 训练过程 100次训练
for epoch in range(100):
cost_val=cost(x_data,y_data)
grad_val=gradient(x_data,y_data)
w-=0.01 * grad_val
print('Epoch:',epoch,'w=',w,'loss=',cost_val)
print('Predict (after training)' ,4,forward(4))
4.反向传播