深度学习框架,要学会看文档。因为框架在不断迭代。
第一讲 人工智能
推理:
中午吃什么?根据外部信息推理。
穿什么?根据衣服场地等信息来推理。
预测:
根据信息,和一个抽象的概念结合起来。
根据🐱推测出来猫这个抽象的概念。
人类智能(使用算法)->人工智能
机器学习,基本上都是监督学习。
以往的算法课
算法的思维方式:穷举、贪心、分治、动态过程。这些都是人工设计出来算法。
机器学习的算法,来自于数据
基于规则的系统:有知识库,比如求原函数,定义了一些列规则,它包含一套计算导数等知识内容。可以根据这些规则,求解出原函数,人工智能的定义是实现一些类似人类智能活动的一些程序,所以基于规则的也是人工智能。
经典的机器学习:手工的特征提取变成向量,使之与输出之间建立映射函数(这个是学习的来的)
表示学习:特征是学习得来的。和映射关系的学习是分开的。
维度组织,两个feature上采样比一个feature上采样多一个数量级。高维空间特征降维到低维空间,保持高维空间的特征。 需要训练特征提取器。
深度学习:特征是简单的特征。设计额外的一层来提取特征。端到端的,训练是合在一起的。
https://www.jianshu.com/p/b1dcd8811326
浅层神经元和高层神经元处理不同级别的信息。分成感知形成。
pytorch是动态图。
第二讲 线性模型
1、数据集
2、model
3、训练
4、inferring
过拟合问题,希望模型泛化能力好。
线性模型:y= w*x
不同w下,计算其loss(MSE)
穷举法,观察得到其大致范围,然后穷举,得到其loss最小的那个w。
训练代码
Visdom :facebook开源的可视化工具包。
存盘:断点重开问题
import numpy as np
import matplotlib.pyplot as plt
x_data = [1.0, 2.0, 3.0]
y_data = [2.0, 4.0, 6.0]
def forward(x):
return w * x
def loss(x, y):
y_pred = forward(x)
return (y - y_pred) * (y - y_pred)
w_list = []
mes_list = []
for w in np.arrange(0.0, 4.0, 0.1):
print('w =',w)
l_sum = 0
for x_val, y_val in zip(x_data, y_data):
y_pred_val = forward(x_val)
loss_val = loss(x_val, y_val)
l_sum += loss_val
print('\t', x_val, y_val, y_pred_val,loss_val)
print('MSE=',l_sum / 3)
w_list.append(w)
mse_list.append(l_sum/3)
作业:模型变成了y = x * w + b
需要做到的是,matplotlib文档,找下三维图绘制
此外是三维图绘制常用的np.meshgird()函数
import numpy as np
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D
fig = plt.figure()
ax = Axes3D(fig)
#模型是y = w*x + b
def forward(x):
return w * x + b
def loss(x, y):
y_pred = forward(x)
return (y - y_pred) * (y - y_pred)
x_data = [1.0,2.0,3.0]
y_data = [3.0,5.0,7.0]
#利用了广播机制,w和b都在另一维度上扩充了,故计算的时候可以一起计算。
W = np.arange(0.0, 4.0, 0.1)
B = np.arange(-2.0, 2.0, 0.1)
w, b = np.meshgrid(W,B,indexing='ij')
l_sum = 0
for x_val, y_val in zip(x_data, y_data):
y_pred_val = forward(x_val)
l_sum += loss(x_val, y_val)
mse = l_sum/3
print(mse.shape)
ax.plot_surface(w, b, mse, rstride=1, cstride=1, cmap=plt.get_cmap('rainbow'))