![](https://img-blog.csdnimg.cn/20190918140053667.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
MLTools
文章平均质量分 80
ML 网络平台和工具
小陈同学-陈百万
这个作者很懒,什么都没留下…
展开
-
Pytorch(3)-内置/自己设计的损失函数使用
Pytorch内置了许多常用的损失函数,但是,实际应用中,往往需要依据不同的需求设计不同的损失函数。本篇博文对比总结了使用和损失函数的语法规则流程。原创 2019-06-27 17:18:51 · 218 阅读 · 1 评论 -
ML Tools List
Pytorch(1)-内置/自己设计的损失函数使用Pytorch(2)-tensor常用操作Pytorch(3)–数据载入接口:Dataloader、datasetsPytorch(4)-模型保存-载入-eval()Pytorch(5)-梯度反向传播Pytorch(6)–设置随机种子,复现模型结果Pytorch(7)-自己设计神经网络会遇到的问题TensorFlow(1)-模型相关基础概念TensorFlow(2)-数据载入TensorFlow(4)-TFRecordTensorboard–模型可视化工具原创 2019-03-14 18:29:36 · 3676 阅读 · 1 评论 -
TensorFlow(4)-tfrecord数据存储、读取
TFRecord1. tf.train.Example1.1 tfrecord 数据范式转化1.2 demo 数据集构建2. TFRecord 读写2.1 写入1-tf.io.TFRecordWriter()2.3 读取-tf.data.TFRecordDataset()2.3 data -> dataset -> 存储-tf.data.experimental.TFRecordWriter()tfrecord 用于存储二进制序列数据的一种范式,按顺序存,按顺序取。里面存的每一条数据都是一个原创 2022-03-19 11:42:04 · 2040 阅读 · 0 评论 -
TensorFlow(3)-与训练相关的操作
与训练相关的操作1. tf.control_dependencies(update_ops)如果你的模型训练出不了效果,可能的原因太多了,没搞清tf 中各个函数的具体作用可能就是其中一个原因。本文记录【如果不理清,会造成无法解释的训练现象的操作】。1. tf.control_dependencies(update_ops)tf.control_dependencies()–保证其作用域内的操作必须要在该函数所传递的参数中的操作完成后再进行。 如下Code Demo,只有在update_ops 操作完原创 2022-02-27 19:39:22 · 654 阅读 · 0 评论 -
TensorFlow(2)-tf.data.Dataset训练数据集构建
tensorflow 数据载入1. tf.data.Dataset2. dataset 创建数据集的方式2.1 tf.data.Dataset.from_tensor_slices()2.2 tf.data.TextLineDataset()2.3 tf.data.FixedLengthRecordDataset()2.4 tf.data.TFRecordDataset()3. dateset 迭代操作iterator3.1 make_one_shot_iterator()3.2 make_initiali原创 2022-02-27 17:09:34 · 4400 阅读 · 0 评论 -
Tensorboard--模型可视化工具
Tensorboard1.tensorboard in tensorflow1.1 tensorboard的启动过程1.2 tf.summary 可视化类型1.3 tf.summary 使用demo2.tensorboard in pytorch2.1 SummaryWriter 使用demotensorboard in tensorflow :tensorboard 是一套用于tensorflow训练过程可视化工具,能够可视化模型的结构,参数,损失函数等。最常用于记录训练过程中参数和损失函数值的变化,原创 2022-02-25 19:59:49 · 1734 阅读 · 0 评论 -
TensorFlow(1)-模型相关基础概念
TensorFlow1TensorFlow教程:TensorFlow快速入门教程(非常详细)tensorflow 是什么计算图–可以认为是详细的流程图,其包括每一步的操作[op]和变量名字。训练一个神经网络:定义好变量/参数,以及每一步的计算[包括输出]建立一...原创 2022-02-15 21:07:31 · 870 阅读 · 0 评论 -
Pytorch(4)-模型保存-载入-eval()
模型保存与提取1.网络保存2. 网络提取3.GPU/CPU模型保存与导入神经网络模型在线训练完之后需要保存下来,以便下次使用时可以直接导入已经训练好的模型。pytorch 提供两种方式保存模型,一种是直接保存整个模型,另一种只保存模型参数。1.网络保存torch.save(net1, ‘net.pkl’) # 保存整个网络torch.save(net1.state_dict(), ...原创 2019-07-20 17:49:32 · 3942 阅读 · 0 评论 -
Pytorch(7)-自己设计神经网络会遇到的问题
灵活操作pytorch架构遇到的问题1.网络参数初始化2.查看当前可学习参数3.增加可学习的参数4.网络定义的两种方式5.参数优化函数Adagrad6.直接修改网络梯度值1.网络参数初始化2.查看当前可学习参数函数查看现在的全部可训练参数,定义网络net之后查看.state_dict()属性net.state_dict()或者net.named_parameters()3.增...原创 2019-09-13 11:33:17 · 3137 阅读 · 0 评论 -
Pytorch(6)-设置随机种子,复现模型结果
torch 与 numpy一些对应函数1.torch.cat() --numpy.concatenate()2.torch.flatten()--numpy.matrix.flatten1.torch.cat() --numpy.concatenate()>>> x = torch.randn(2, 3)>>> xtensor([[ 0.6580, ...原创 2019-08-21 17:17:35 · 3571 阅读 · 0 评论 -
Pytorch(5)-梯度反向传播
自动求梯度torch提供了简便的求梯度方法:带入变量值x,求解目标函数f(x),将目标函数的值反向传播f.backward(),就能计算对应变量的导数。例如最简单的直线函数:f(x)=ax2+bf(x)=ax^2+bf(x)=ax2+b其中:a,b是已知的参数,对x 求导:f′(x)=2axf'(x)=2axf′(x)=2ax当a=1,x=1时a=1,x=1时a=1,...原创 2019-08-21 16:29:15 · 2508 阅读 · 0 评论 -
Pytorch(3)-数据载入接口:Dataloader、datasets
图像数据载入1torchvision.datasets.2自己写数据读入函数3torchvision.datasets.ImageFolder4后续使用可迭代数据数据是机器学习算法的驱动力,在涉及输入数据是图像时,Pytorch提供了方便的图像数据载入和处理接口。可以使用三种方式载入图像数据:1.torchvision.datasets,2.自己写数据读入函数,3.torchvision....原创 2019-06-15 20:45:45 · 2883 阅读 · 1 评论 -
Pytorch(1)-Tensor构建与统计分析
torch常用的一些函数1 torch.mean()2 torch.mean()3 torch.squeeze()1 torch.mean()产生大小为指定的,正态分布的采样点,数据类型是tensortorch.randn(4)tensor([-2.1436, 0.9966, 2.3426, -0.6366])torch.randn(2, 3)tensor([[ 1.5...原创 2019-06-07 13:43:44 · 31968 阅读 · 1 评论