![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
Sugaiiii777
这个作者很懒,什么都没留下…
展开
-
【tensorflow】线性模型实战
线性模型:y = 1.477 * x + 0.0891. 采样数据采样噪声eps在均值0,方差0.01的高斯分布中,而后在均匀分布U(0,1)中,区间[-10,10]进行n=100次随机采样:data = []for i in range(100): x = np.random.uniform(-10.,10.) #均匀分布 eps = np.random.normal(0.,0.1) #正态分布 y = 1.477 * x + 0.089 + ep.原创 2020-11-05 10:40:52 · 263 阅读 · 1 评论 -
【python】labelme制作数据集标签(json转txt)
1. labelme制作标签安装:https://github.com/wkentaro/labelme 有列出各种系统安装方法启动:终端输入labelme(有介绍怎么启动)启动以后:处理完图像以后保存,json格式。2. json转txtimport osimport jsonimport numpy as npdir_json = '/test_label_json/' #json存储的文件目录dir_txt = '/test_label_json/' ...原创 2020-10-17 15:56:41 · 4763 阅读 · 5 评论 -
【pytorch_6】Logistic回归的实现
1. Logistic 函数函数可以将输出映射到[0,1]之间,函数会逐渐趋于平稳,即饱和,对应着导数会越来越小(至少会>0)。如图:2. 定义模型3. 定义Loss损失和优化Loss函数:首先线性回归的损失函数使用的是:而对于二分类的交叉熵损失函数,即:如果使用Mini-Batch损失函数处理则变成了此时Logistic回归模型所用的损失函数。优化:SGD4. 训练以及更新实现过程:import...原创 2020-10-06 11:42:56 · 475 阅读 · 0 评论 -
【pytorch_5】线性回归的实现
步骤:1. 准备数据import torchx_data = torch.Tensor([[1.0],[2.0],[3.0]])y_data = torch.Tensor([[2.0],[4.0],[6.0]]) 2. 设计模型:class LinearModel(torch.nn.Module): #继承 def __init__(self): #构造函数,初始化对象 super(LinearModel,self).__init原创 2020-10-03 21:52:09 · 1144 阅读 · 0 评论 -
【pytorch_4】实现Back Propagation(BP)
1. 线性模型:2. 损失函数:import torchx_data = [1.0,2.0,3.0]y_data = [2.0,4.0,6.0]w = torch.Tensor([1.0]) #存储数据w.requires_grad = True #计算梯度def forward(x): #定义线性模型 return x * wdef loss(x,y): #定义损失函数MSE y_pred = forwar...原创 2020-10-02 18:04:12 · 105 阅读 · 0 评论 -
【pytotch_3】SGD随机梯度下降的实现
梯度下降是对于全部样本而言的,所以它需要的是代价函数,对loss最终要求和。即:所以带入后:对于随机梯度下降(SGD)来说,是对于单个样本而言的,即对每个样本梯度更新,并迭代权重。所以它每次只用loss函数即可,无需求和。损失函数:SGD实现:import matplotlib.pyplot as pltx_data = [1.0,2.0,3.0]y_data = [2.0,4.0,6.0] #输入两个样本数据w = 1.0 ...原创 2020-10-01 21:29:53 · 283 阅读 · 0 评论 -
【pytorch_2】梯度下降的实现
想得到一个全局最小代价值,此优化问题为:梯度下降算法根据贪心算法的思路,寻找最优,但容易陷入局部最优里(由于在损失函数中并无太多局部最优点,所以寻找损失函数的最优值其实是不易陷入的)其中,alpha为学习率。注:此函数中最重要的一个点是鞍点(梯度为0),即陷入鞍点后无法继续迭代。如果将上一文中的线性模型带入,进行梯度下降计算损失值:得到梯度函数:对此梯度算法过程进行实现:import matplotlib.pyplot as pltx_da...原创 2020-09-30 16:09:20 · 144 阅读 · 0 评论 -
【pytorch_1】实现线性模型和损失函数
1. 从线性模型开始,线性模型的形式:2. Training Loss(Error)其中Mean Square Error:我们可以输入几个简单的数画一个损失函数的图:import numpy as npimport matplotlib.pyplot as pltx_data = [1.0,2.0,3.0] #输入训练集y_data = [2.0,4.0,6.0]def forward(x): #定义模型y=x*w ret...原创 2020-09-29 21:42:12 · 328 阅读 · 0 评论 -
Three layer Neural Networks
【Three layer Neural Networks】1.AbstractIn this paper, we shall first briefly introduce the origin of neural networks and relatedconcepts.2.IntroductionTo begin with, we will provide a brief background on the Neural Networks. We allknow that three原创 2020-07-16 20:04:08 · 492 阅读 · 0 评论