ZHE

2. pytorch 张量操作基本数据类型创建 tensor索引与切片tensor 维度变换基本数据类型pytorch 数据类型对比PyTorch 是面向数值计算的 GPU 加速库，没有内建对 str 类型的支持。one-hot [0,1,0,0,···]Embedding(常用的编码语言[NLP])word2vecglovePyTorch 内建的数据类型...

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Ma...

8. 卷积神经网络卷积卷积神经网络notationmulti-KernelLeNet-5卷积层的作用效果nn.Conv2dF.conv2d池化层poolingupsampleReLubatch norm使用原因feature scaleimage NormlizationBatch Normlization使用效果使用优势经典的神经网络ImageNet dataset 224x224LeNet-5...

7. 深度学习的技巧过拟合与欠拟合欠拟合过拟合交叉验证数据划分K-flod 交叉验证正则化奥卡姆剃刀原理防止过拟合的方法正则化L1范数L2范数动量与学习率衰减动量学习率衰减提前停止更新与 dropout提前停止更新dropout过拟合与欠拟合欠拟合模 型 简 单 ， 表 达 能 力 不 够 ， 导 致 欠 拟 合.过拟合现 实 生 活 中 更 多 地 是 过 拟 合 ， 模 型 表 ...

文章目录数据归一化除最大值法MinMaxScaler均值和标准差反归一化数据归一化除最大值法def read_and_normalize_train_data(): train_data, train_label = load_train() print('Convert to numpy...') train_data = np.array(train_data...

6. 多层感知机与分类器逻辑回归交叉熵逻辑回归对于逻辑回归我们不能直接最大化 accuracy。• acc.=I(pred i ==y i )len(Y )• grad 出现等于零的情况。• grad 不连续。为什么叫 regression。• MSE−− >regression.• cross entropy−− >classification.多类：• 实...

5. 感知机梯度传播推导单一输出感知机多输出感知机链式法则MLP 反向传播推导2D 函数优化实例单一输出感知机x = torch.randn(1, 10)w = torch.randn(1, 10, requires_grad=True)o = torch.sigmoid(x@w.t())o.shape #torch.Size([1, 1])loss = F.mse_loss(to...

4. 随机梯度下降梯度常见函数的梯度激活函数Loss 损失函数的梯度梯度导数 （标量）偏微分 （函数延某个方向的变换量 标量）梯度 （函数变化量最大的方向 向量）梯度的意义：模为变换率大小，矢量方向。如何求取最小值：梯度下降θt+1=θt−αt∇f(θt)\theta_{t+1} = \theta_t-\alpha_t\nabla f(\theta_t)θt+1​=θt​−αt​...

3. 张量高阶操作Broadcast 机制Tensor 分割与合并Tensor 运算Tensor 统计Tensor 高阶操作Broadcast 机制Broadcast (expand+withoutcopying) [广播机制]关键步骤：Insert 1 dim ahead (unsqueeze)Expand dims with size 1 to same sizeFeature...

1. PyTorch 简介主流深度学习框架两类深度学习框架的优缺点使用深度学习框架的优点PyTorch 的特点主流深度学习框架两类深度学习框架的优缺点动态图（PyTorch）计算图的进行与代码的运行时同时进行的。静态图（Tensorflow <2.0）自建命名体系自建时序控制难以介入使用深度学习框架的优点GPU 加速 (cuda)自动求导常用网络层的A...

文章目录Pytorch 中的布尔类型Pytorch 中的 str 类型tensorflow 中的布尔类型tensorflow 中的 str 类型Pytorch 中的布尔类型pytorch 中没有对布尔类型的支持。用 0 & 1 来表示。import torcha = torch.tensor(1.)b = torch.tensor(1.)a == b # tensor(1, ...