enchant-ed-CSDN博客

原创第四周、梯度，损失函数和优化器

一、梯度消失与爆炸1.1 梯度从上图可知，每一网络层输出不能太大或太小，否则会导致梯度爆炸或者梯度消失对权重W进行处理，使其方差为1/n，则隐藏输出的方差也为1，这样使得经过累乘，依然保持到一个很小的数1.2 Xavier方法方差一致性: 保持数据尺度维持在恰当范围,通常方差为1激活函数: 饱和函数, 如Sigmoid, Tanh1.3 Kaiming方法方差一致性:保持数据尺度维持在恰当范围,通常方差为1激活函数: ReLU及其变种1.4 常用初始化方法二、损失函数1.1

2020-07-12 14:31:02 322

原创第三周、模型相关

一、模型创建步骤1.1 模型构建两要素说明：在__init__()中实现子模块的构建，在forward中实现子模块的拼接，所以在pytorch中，前向传播过程就是子模块的拼接过程二、nn.Module2.1 torch.nntorch.nn：Pytroch中的神经网络模块，主要包括以下四个子模块2.2 nn.Moduleparameters: 存储管理nn.Parameter类modules : 存储管理nn.Module类buffers: 存储管理缓冲属性, 如BN层中的runn

2020-07-09 17:38:07 263

原创第二周、transforms图像增强（一）

一、数据增强数据增强又称为数据增广,数据扩增,它是对训练集进行变换,使训练集更丰富,从而让模型更具泛化能力二、transforms——裁剪2.1 transforms.CenterCroptransforms.CenterCrop(size)功能: 从图像中心裁剪图片size: 所需裁剪图片尺寸2.2 transforms.RandomCrop功能: 从图片中随机裁剪出尺寸为size的图片size: 所需裁剪图片尺寸padding: 设置填充大小当为a时,上下左右均填充a个像素

2020-07-05 23:27:54 584

原创第二周、图像预处理transforms

这里写目录标题一、transforms运行机制1.1 计算机视觉工具包torchvision1.2 常用的图像预处理方法torchvision.transforms1.3 流程图二、数据标准化transforms.normalize一、transforms运行机制1.1 计算机视觉工具包torchvisiontorchvision.transforms : 常用的图像预处理方法torchvision.datasets : 常用数据集的dataset实现，MNIST，CIFAR-10，ImageNe

2020-07-05 22:45:24 583

原创第二周、Dataset与Dataloader

这里写目录标题一、数据读取流程二、数据读取流程数据提取流程三、DataLoader四、Dataset二级目录三级目录一、数据读取流程二、数据读取流程数据提取流程读那些：Sampler输出的Index从哪读：Dataset中的data_dir读什么：Dataset中的getitem三、DataLoadertorch.utils.data.DataLoader功能:构建可迭代的数据装载器dataset: Dataset类，决定数据从哪读取及如何读取batchsize :批大小num_w

2020-07-05 22:18:29 313

原创第一周、逻辑回归

逻辑回归原理求解步骤代码原理逻辑回归是线性的二分类模型，分析自变量x与因变量y(概率)之间关系的方法表达式：y=f(wx+b) f(x) = 1/1+e^(-x)求解步骤代码import torchimport torch.nn as nnimport matplotlib.pyplot as pltimport numpy as nptorch.manual_seed(10)# ============================ step 1/5 生

2020-06-29 22:20:29 171

原创第一周、autograd-自动求导系统

autograd-自动求导系统autograd注意torch.autograd.backward1.1 retain_graph1.2 grad_tensorstorch.autograd.grad三级目录autograd注意1.梯度不自动清零2.依赖于叶子结点的结点，requires_ grad默认为True3.叶子结点不可执行in-place（不能用+=）torch.autograd.backward功能:自动求取梯度tensors:用于求导的张量，如lossretain_ graph

2020-06-29 22:10:21 174

原创第一周、计算图与动态图机制

计算图与动态图机制一、计算图1.1定义1.2表示1.3函数二、计算图动态机制2.1 动态图 vs 静态图一、计算图1.1定义用来描述运算的有向无环图，主要元素:结点和边结点：数据，如向量，矩阵，张量。边：运算，如加减乘除卷积等1.2表示用计算图表示: y=(x+w)*(w+1) a=x+w b=w+1 y=a+b 计算梯度下降1.3函数叶子结点：用户创建的结点称为叶子结点grad:梯度,只有叶子结点有梯度is

2020-06-29 21:07:14 330

原创第一周、线性回归

线性回归求解步骤求解步骤代码求解步骤分析一个变量与另外一（多）个变量之间关系的方法自变量：x 因变量：y 关系：线性y = wx+b分析：求解w,b求解步骤1、确定模型 model：y=wx+b2、选择损失函数 MSE：均方差3、求解梯度并更新w，b w = w - LR * w.grad b = b - LR * b.grad 代码mport torchimport matplotlib.pyplot as plttorch.ma

2020-06-29 20:38:53 176

原创张量的操作

张量操作一、拼接与切分1.1 torch.cat()1.2 torch.stack()1.3 torch.chunk()1.4 torch.split()二、索引2.1 torch.index_select()2.2 torch.masked_select()三、变换3.1 torch.reshape()3.2 torch.transpose()3.3 torch.t()3.4 torch.squeeze()3.5 torch.unsqueeze()四、数学运算1.1 加减乘除，对数指数，三角函数4.1 t

2020-06-29 20:25:02 454

原创 c-1（99乘法表和最小公约数）

99乘法表两层循环外层控制行数和第二个乘数，内层控制每一行第一个变化的数字#include "stdio.h"int main(){ int i,j; for(i=1;i<=9;i++) { for(j=1;j<=i;j++) { printf("%d*%d=%d\t",j,i,i*j); } printf("\n"); } retur...

2019-02-25 17:00:14 251

原创 JSON

JSON ：轻量级的数据交换格式JSON对象：是直接可以使用JQuery操作的格式，如C#中可以用对象（类名）点出属性（方法）一样。JSON字符串：仅仅只是一个字符串，一个整体，不截取的话没办法取出其中存储的数据，不能直接使用。表现形式：字符串类似于字典（k,v必须双引号，外层单引号）特点：易于阅读易于解析网络传输效率高跨语言交换数据 json VS ...

2019-01-15 19:15:22 137

原创面向对象day1

1、类与对象类：具有相同属性和技能的一类事物对象：具体的类的表现，是一个实例 eg:人是一类，泰勒是一个对象2、类体变量部分、方法（函数）部分 3、类名的角度：操作类中的静态变量 class Person: mind = '有思想' #静态变量 animal = '高级动物' def __init__(self,name,ag...

2019-01-15 19:06:23 158

原创 python(day11)

1、lambda 匿名函数，一行搞定一个函数，不适用于复杂的函数操作语法：变量 = lambda 参数：函数体（直接return的内容） def func(n): return n*n print(func(3)) print(func.__name__) # 查看函数名 fun = lambda x:x*x print(fun(3)) 2、sorted() 函数...

2019-01-08 20:09:33 147

原创 day(10)

1、内置函数 1、作用域函数当前作用域：locals() 全局作用域：globals() 2、迭代器生成器 next()：执行下一行 iter()：迭代器 range() 3、进制转换 bin() # 十进制转二进制 oct() # 十进制转八进制 hex() # 十进制转十六进制...

2019-01-08 17:14:53 122

原创 python(day9)

1、生成器和生成器表达式本质就是一个迭代器三种生成办法： a、生成器函数 def func(): print(&quot;jay&quot;) yield &quot;周杰伦&quot; # 函数中包含了yield，当前函数为生成器函数 print(&quot;bubble&quot;) yield &quo

2019-01-08 11:54:37 192

原创 python(day8)

1、函数名的应用函数名是一个特殊的变量，与括号配合可以执行函数的变量 a、函数名的内存地址： def func(): print("哈哈") print(func) 结果:&lt;function func at 0x000002088C972EA0 b、函数名可赋值 def func(): print("哈哈") a = func..

2019-01-07 21:27:50 153

原创题

1、乘法表# 9*9 a = 1 while a <= 9: i = 1 while i <= a: print("%d*%d=%d\t" % (a,i,a*i),end="") i += 1 print()#换行 a += 1

2019-01-07 16:35:17 148

原创 python(day7)

三目运算符：a if a > b else b1、函数：对功能的封装 def 函数名(形参): 函数体 return 函数调用：函数名(实参):`注：无return返回None，执行到return函数就停止，多个返回值返回的是元组tuple2、函数参数：位置：hanshu("bubble","女"，24) 关键字：hanshu(name="bubble",s...

2019-01-06 17:40:02 168

原创文件

1、操作通过open()函数打开文件，默认是r(只读)模式处理非文本：w,r,a,wb,rb,ab 只要有w就会清空前面的所有操作 2、只读(r,rb) f = open("day1.txt",mode="r",encoding="utf-8") s = f.read() f.close() print(s) f = open(

2019-01-05 20:31:04 149

原创排序

1、冒泡排序li = [9,1,3,6,7,3,2]for a in range(len(li)): i = 0 while i &amp;amp;amp;amp;lt; len(li)-1: if li[i] &amp;amp;amp;amp;gt; li[i+1]: li[i],li[i+1] = li[i+1],li[i] i += 1print(li)...

2019-01-05 16:39:26 116

原创 python（day6）

1、列表与字典进行赋值操作，实际上是引用内存地址 li = [1,2,3,4,5] li2 = li #两个变量指向一个列表 li2.append(1000) #对其中一个变量进行操作，两个都要改变 print(li2) print(li) 结果：[1, 2, 3, 4, 5, 1000] [1, 2, 3, 4, 5, 1000]2、浅拷贝（拷贝第一层） li = [...

2019-01-05 15:43:02 121

原创 python(day5)

1、is和== is ：判断的是内存地址,id()来判断 ==：判断左右两端是否相等和一致，比较的是内容2、str.join() 字符串s插入到s1：s = 'abs' s1 = s.join('哈哈') 列表变成字符串：s = &quot;_&quot;.join([&quot;bubb&quot;,'bjk','kl']) 列表变成字符串：split() ...

2019-01-03 22:28:53 110

原创 python(day4)

1、字典：{key:value} 注意：字典的key必须是哈希，不可变的2、增删查改 setdefault功能：判断字典中与没有key,没有即添加有就查询key对应得value，返回查询的value值增加(可改变key对应得value)：dic = {'2':'bubble'} (不可变) dic.setdefault('3','daa') 删除(key...

2019-01-03 16:43:06 129

原创 python(day3)

列表:list1 = ['a','b','d']修改：list1[2] = 'c'添加（末尾）：list.append('d')插入(指定索引)：list1.insert(4,'e')删除（指定索引）：del list[0]删除（末尾,任意位置需要指定索引）：list.pop()删除（指定元素）：list1.remove('d')排序：...

2018-12-29 20:50:36 91

原创 python(day2)

utf-8 ：英文 8 bit 1个字节欧洲文字 16bit 2个字节中文 24bit 3个字节1.int 方法操作：bit_length() 求二进制长度2.bool 空False ，非空True3.str 索引和切片：索引：起始为0（从左到右），-1（从右到左），切片：[起始：结束：步长] 顾头不顾尾常用方法： upper() 转换...

2018-12-28 19:33:22 152

原创 python(day1)

变量:程序运行时的中间值,暂时存储在内存中命名规则:字母数字下划线,只能字母下划线开头常量大写字母数据类型1.int整数,+ - * / //整除 &amp;amp;amp;amp;amp;amp;gt; =&amp;amp;amp;amp;amp;amp;lt; !=2.str字符串3.boolif判断if 条件:代码elif:代码else:用户交互变量 = input(“提示语”) (变量一定是字符串)...

2018-12-27 18:37:02 134

u012675171的博客