[Machine Learing]1.0-DeepLearning 以及Pytorch基本应用

Machine Learning Part1
提要:
本篇主要记录了三个方面，首先是对一些机器学习基本概念的理解，包括(反向传播，Adam等)，之后记录了一些Torch的一些基本函数的使用，最后对上述概念中在实战中一些应用的关键代码。

1机器学习:
Deeplearning:DL和之前的Linearmodel不同的点关键在于，层次更深，像是多个LinearModel叠加在一起。
需要注意的是并非是越深越好，针对不同的问题，Model最好有不同的结构。
Backword: 随之而来的一个问题就是，在LinearModel中我们计算梯度时，由于参数很少，可以对每个参数譬如，w和b进行手动的梯度下降，在DL中层数往往很多，如果一个一个去计算太浪费时间了，可以发现的是，每一个参数的梯度其实可以通过前向传播的一个梯度和反向传播的梯度相乘得到。
面试前:需要整理复习Backword过程
Overfitting：在训练model的过程中我们常常会遇到精度不够的问题，需要注意的是并非所有的准确度不够都是Overfitting，Overfitting代表我们的Model在训练集上的值很高，但是在测试集上的值很低。
Underfitting：与overfitting对应，underfitting指的是我们的model在面对一些问题时出现准确度较低或者梯度下降慢可能是由于参数不够而造成的.
ReLu:与Sigmoid不同的activation function，小于0时得值输出0，大于0输出x，要注意的是，在实践当中，往往还可以有LRelu（其中的a可以由我们自定）

Momentum：简而言之，就是在我们之前的梯度下降过程中加入了上一次训练过程的训练梯度，从而达到更好的下降效果。

Rmsprop:与Adagrad相似的梯度下降法，不同的是，在我们的grad_sum**0.5这一项可以乘一个手动的参数a，从而手动控制下降过程。

Adam:Adam就是基于上述两种下降方法结合的一种.

2:Pytorch
2.1 Pytorch的创建以及基本运算
Torch.matmul(x1,x2)
Torch.from_numpy()
Torch.tensor([],dtype=torch.xx)
2.2 Pytorch导入数据集Dataset与DataLoader
Class(Dataset):
Def init():
Self.x=
Self.y=
Def getitem:
Return x[item],y[item]
Def len:
Return len(data)

Dataloader = DataLoader(data,batch_size=xx,shuffle=True,drop_last =False)
for data_val,data_label in dataloader:
print(‘x:’,data_val,‘y:’,data_label)

3.项目:
3.1:二分法余额预测
3.2:Torch实现二层神经网络
Net = nn.Sequtial(
nn.Linear(input_size,anysize),
nn.ReLu()
nn.Linear(anysize,output_size)
nn.Sigmoid()
)
损失函数
Loss_func = nn.MSEloss()
梯度更新
Optimizer = torch.optim.SGD(Model.params,lr=0.001)

梯度下降:
Optimizer.zero_grad()
Loss.backward()
Optimizer,step()

参数保存以及读取:
Torch,save(model,’modelname’)
Torch.load(‘modelname’)