我也要用- 博客(646)
- 资源 (110)
- 论坛 (24)
- 收藏
- 关注
RSS订阅原创 PyTorch：模型训练-分布式训练
-柚子皮-不同数据并行方案(parameter server 模式和 allreduce 模式，同步更新和异步更新)的详细介绍。分布式算法原理Parameter server 模式以参数????为同步基础，我们可以采用 master-slave 的同步模式：将 node 分成两种角色：parameter server(ps) 负责维护一份最新的参数 ，worker 负责利用从 ps 读到的最新参数计算出梯度(forward 和 backprop)，并对 ps 发送梯度和参数更新请求。这被
2021-01-10 23:36:16
26
原创 无重复元素的组合算法/n个列表中取n个不同的数
方法1：无重复元素的组合算法修改排列组合算法[Generate all combinations from multiple lists]private static void generatePermutations(List<List<String>> lists, List<List<String>> result, int depth, List<String> current) { if (depth >=...
2020-12-14 21:20:06
96
原创 PyTorch：可视化TensorBoard
PyTorch 1.2.0 版本开始。安装及更新pip3install --upgrade torch torchvisionpip3 install tensorboardBugs:1 AttributeError: module 'tensorflow._api.v1.io' has no attribute 'gfile'出现这个问题的根本原因在于pytorch调了Tensorflow，最后由Tensorflow报出的错误，tensorflow的新版本与旧版本的不兼容。..
2020-10-29 00:03:05
394
1
原创 PyTorch：模型save和load
-柚子皮-神经网络训练后我们需要将模型进行保存，要用的时候将保存的模型进行加载。PyTorch 中保存模型主要分为两类：保存整个模型和只保存模型参数。A common PyTorch convention is to save models using either a.ptor.pthfile extension.保存加载整个模型（不推荐）保存整个网络模型（网络结构+权重参数）torch.save(model, 'net.pth')加载整个网络模型（可能比较耗...
2020-10-29 00:02:51
682
原创 PyTorch：tensor-基本操作
Embeddingtorch.nn.Embedding(m, n)m 表示单词的总数目，n 表示词嵌入的维度，其实词嵌入就相当于是一个大矩阵，矩阵的每一行表示一个单词。emdedding初始化默认是随机初始化。# 定义词嵌入embeds = nn.Embedding(2, 5) # 2 个单词，维度 5# 得到词嵌入矩阵,开始是随机初始化的torch.manual_seed(1)embeds.weight#-0.8923 -0.0583 -0.1955 -0.9656 0...
2020-10-28 22:09:34
728
1
原创 PyTorch：tensor-数学API
-柚子皮-乘法API1. 二维tensor相乘：torch.mma是 [m, k]，b是[k, n]，结果是 [m, n]c = torch.mm(a, b)2. 三维tensor相乘torch.bmm只能用于三维tensor相乘，这个函数不支持广播，也就是第一维必须相同，另外两维符合矩阵相乘法则c = torch.bmm(a, b)3. 任意多维tensor相乘：torch.matmul支持广播；当两个都是一维时，表示点积c = torch.matmul(a, b)利用这
2020-10-22 23:04:54
269
2
原创 PyTorch：tensor-张量维度操作（拼接、维度扩展、压缩、转置、重复……）
张量维度操作（拼接、维度扩展、压缩、转置、重复……）-柚子皮-torch.cat(seq, dim=0, out=None) 多个tensor拼接在指定的维度dim上对序列seq进行连接操作。参数：seq (sequence of Tensors) - Python序列或相同类型的张量序列dim (int, optional) - 沿着此维度连接张量out (Tensor, optional) - 输出参数例子：x = torch.randn(2, 3)x-0.5866 -0.
2020-10-22 23:04:20
1901
1
原创 PyTorch：学习率
-柚子皮-学习率衰减import torch.optim as optimfrom torch.optim import lr_scheduler# 训练前的初始化optimizer = optim.Adam(net.parameters(), lr=0.001)#学习率衰减scheduler = lr_scheduler.StepLR(optimizer, 10, 0.1) # # 每过10个epoch，学习率乘以0.1# 训练过程中for n in n_epoch: ...
2020-10-21 00:17:08
422
原创 PyTorch：模型训练和预测
-柚子皮-指定GPU编号设置当前使用的GPU设备仅为0号设备，设备名称为 /gpu:0：os.environ["CUDA_VISIBLE_DEVICES"] = "0"设置当前使用的GPU设备为0,1号两个设备，名称依次为 /gpu:0、/gpu:1：os.environ["CUDA_VISIBLE_DEVICES"] = "0,1"根据顺序表示优先使用0号设备,然后使用1号设备。Note: 指定GPU的命令需要放在和神经网络相关的一系列操作的前面。梯度裁剪n..
2020-10-21 00:16:20
1154
原创 PyTorch：模型层
-柚子皮-查看模型每层输出详情Keras有一个简洁的API来查看模型的每一层输出尺寸，这在调试网络时非常有用。在PyTorch中也可以实现这个功能。使用很简单，如下用法：from torchsummary import summarysummary(your_model, input_size=(channels, H, W))input_size 是根据你自己的网络模型的输入尺寸进行设置。from:-柚子皮-ref:...
2020-10-20 23:41:19
135
原创 PyTorch：模型训练-模型参数parameters
-柚子皮-模型层的命名方式命名方式 {自动识别名称如bn_layers}.0.weight if self.use_bn: self.bn_layers = nn.ModuleList( [nn.BatchNorm1d(hidden_units[i + 1]) for i in range(len(hidden_units) - 1)])模型参数初始化神经网络的初始化是训练流程的重要基础环节，会对模型的性能、...
2020-10-20 23:39:40
347
原创 PyTorch：tensor-数据处理
-柚子皮-functional.one_hot函数自动检测类别个数import torch.nn.functional as Fimport torchtensor = torch.arange(0, 5) % 3 # tensor([0, 1, 2, 0, 1])one_hot = F.one_hot(tensor)# 输出：# tensor([[1, 0, 0],# [0, 1, 0],# [0, 0, 1],# [1,...
2020-10-20 23:38:23
177
原创 PyTorch：Encoder-RNN|LSTM|GRU
-柚子皮-#RNNrnn=nn.RNN(10,20,2) #(each_input_size, hidden_state, num_layers)input=torch.randn(5,3,10) # (seq_len, batch, input_size)h0=torch.randn(2,3,20) #(num_layers * num_directions, batch, hidden_size)output,hn=rnn(input,h0)print(output.size(),hn.s
2020-09-22 23:27:17
252
原创 PyTorch：Embedding
-柚子皮-torch.nn.Embedding(num_embeddings: int, embedding_dim: int, padding_idx: Optional[int] = None, max_norm: Optional[float] = None, norm_type: float = 2.0, scale_grad_by_freq: bool = False, sparse: bool = False, _weight: Optional[torch.Tensor] = None)
2020-09-22 23:24:19
1069
原创 PyTorch：数据读取2 - Dataloader
-柚子皮-nlp中的dataloader的使用torch.utils.data.DataLoader中的参数： dataset (Dataset) – dataset from which to load the data. batch_size (int, optional) – how many samples per batch to load (default: 1). shuffle (bool, optional) – set to True to have the dat
2020-09-11 10:10:51
668
原创 PyTorch：数据读取1 - Datasets
-柚子皮-什么是Datasets？在输入流水线中，准备数据的代码是这么写的data = datasets.CIFAR10("./data/", transform=transform, train=True, download=True)datasets.CIFAR10就是一个Datasets子类，data是这个类的一个实例。为什么要定义Datasets？PyTorch提供了一个工具函数torch.utils.data.DataLoader。通过这个类，我们可以让数据变成mini-b
2020-09-10 22:31:02
564
原创 中文分词：正向最大匹配与逆向最大匹配
正向（前向）最大匹配与逆向（后向）最大匹配。所谓词典正向最大匹配就是将一段字符串进行分隔，其中分隔 的长度有限制，然后将分隔的子字符串与字典中的词进行匹配，如果匹配成功则进行下一轮匹配，直到所有字符串处理完毕，否则将子字符串从末尾去除一个字，再进行匹配，如此反复。示例说明示例1：对字符串：“研究生命的起源”进行分词。假定我们的字典中的相关内容如下:研究研究生...
2020-04-15 00:36:36
1455
原创 深度学习：批归一化Batch Normalization
深度神经网络模型训练难，其中一个重要的现象就是 Internal Covariate Shift. Batch Norm 自 2015 年由Google 提出之后， Layer Norm / Weight Norm / Cosine Norm 等也横空出世。Normalized的作用1.1 独立同分布与白化1.2 深度学习中的 Internal Covariate Sh...
2020-03-10 00:44:29
1805
原创 Tensorflow：名字/变量空间和变量共享
name_scope: 为了更好地管理变量的命名空间而提出的。比如在 tensorboard 中，因为引入了 name_scope， 我们的 Graph 看起来才井然有序。 variable_scope: 大部分情况下，跟 tf.get_variable() 配合使用，实现变量共享的功能。with tf.variable_scope('scopename', reu...
2019-08-01 21:13:12
2179
原创 Tensorflow：模型保存和服务
tensorflow模型保存和使用TensorFlow是通过构造Graph的方式进行深度学习，任何操作(如卷积、池化等)都需要operator，保存和恢复操作也不例外。在tf.train.Saver()类初始化时，用于保存和恢复的save和restore operator会被加入Graph，所以类初始化操作应在搭建Graph时完成。TensorFlow会将变量保存在二进制checkpoint文...
2019-07-13 17:38:28
1451
1
原创 PyTorch：安装和配置
安装pip安装pip3 install torch torchvisionmacos还需要安装brew install libomp否则出错：ImportError: dlopen(/...torch/_C.cpython-36m-darwin.so, 9): Library not loaded: /usr/local/opt/libomp/lib/libomp.dylib...
2019-07-13 17:09:56
705
原创 深度学习：bert embedding用法详解
环境配置下载bert已训练好的模型如BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads, 110M parameters解压到目录/.../chinese_L-12_H-768_A-12/，其中...为你自己的某个目录。[https://github.co...
2019-07-13 17:09:27
1912
原创 Keras：模型评估
keras模型评估keras能用的模型评估不多，有的可能是这些评估在keras框架下不准确，如果要用，可以使用tensorflow或者sklearn中的评估模型。tensorflow:from tensorflow.python.estimator import trainingresult = training.train_and_evaluate(dnn_estimat...
2019-07-13 17:08:37
998
原创 Tensorflow：常见错误
Tensorflow SSE报错TensorFlow wasn't compiled to use SSE (etc.) instructions, but these are available解决：os.environ['TF_CPP_MIN_LOG_LEVEL']='2'[TensorFlow wasn't compiled to use SSE (etc.) instru...
2019-07-13 17:06:54
420
原创 Tensorflow：可视化学习TensorBoard
用 TensorBoard 来展现 TensorFlow 图，绘制图像生成的定量指标图以及显示附加数据（如其中传递的图像）。tensorflow.summaryscalar一般用于数值的显示如tf.summary.scalar(softmax_cross_entropy) tf.summary.scalar(loss)histogram一般用于向量的分布...
2019-07-13 17:06:31
821
原创 Tensorflow：模型调参
Tensorflow中使用gridsearch1 使用tf.contrib.learn.estimators使用tf中自带的Estimator将自定义的tf模型转换成估计器，输入到sklearn中的gridesearch运行。# My custom model. # Feature request: New params dict with values filled ...
2019-07-13 17:06:14
324
原创 Tensorflow：模型训练tensorflow.train
深度学习训练中的几个概念（1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练；一次Forword运算以及BP运算中所需要的训练样本数目，其实深度学习每一次参数的更新所需要损失函数并不是由一个{data：label}获得的，而是由一组数据加权得到的，这一组数据的数量就是[batch size]。当然batch size 越大...
2019-07-13 17:05:51
576
原创 Tensorflow：seed用法详解
##### file1 #####import tensorflow as tf# tf.set_random_seed(1234)# a = tf.Variable(tf.random_uniform([2, 2], 0, 1), name="aaa")a = tf.Variable(tf.random_uniform([2, 2], 0, 1, seed=1234, name...
2019-07-13 17:05:17
805
原创 Tensorflow：estimator训练
学习流程：Estimator 封装了对机器学习不同阶段的控制，用户无需不断的为新机器学习任务重复编写训练、评估、预测的代码。可以专注于对网络结构的控制。数据导入：Estimator 的数据导入也是由 input_fn 独立定义的。例如，用户可以非常方便的只通过改变 input_fn 的定义，来使用相同的网络结构学习不同的数据。网络结构：Estimator 的网络结构是在 model_fn 中独...
2019-07-13 17:04:17
4546
原创 Tensorflow：分类模型评估
使用tf.estimator时，如果调用 Estimator 的 evaluate 方法，则 model_fn 会收到 mode = ModeKeys.EVAL。在这种情况下，模型函数必须返回一个包含模型损失和一个或多个指标（可选）的 tf.estimator.EstimatorSpec。虽然返回指标是可选的，但大多数自定义 Estimator 至少会返回一个指标。TensorFl...
2019-07-13 17:03:57
1810
原创 TensorFlow：交叉熵损失函数
基础softmax归一化计算什么是logits？ logits就是神经网络模型中的W * X矩阵，注意不需要经过sigmoid，即为未通过激活函数的原始输出。Tensorflow "with logit": The input_vector/logit is not normalized and can scale from [-inf, inf].[What...
2019-07-13 17:03:28
1979
原创 Tensorflow：tf.contrib.lookup索引构建和查询
ndex_to_string_table_from_file和index_table_from_filepy3。从文件中构建int->string映射和string->int映射，分别返回tf.contrib.lookup.HashTable对象和tf.contrib.lookup.IdTableWithHashBuckets对象，其中的属性及函数参考链接。但是index_to...
2019-07-13 17:02:55
1967
原创 Tensorflow：输入输出
Tensorflow输入Dataset读取使用dataset读取batch数据示例DEBUG = Truemlb = MultiLabelBinarizer()with open(os.path.join(DATADIR, 'vocab.tags.txt'), 'r', encoding='utf-8') as f: mlb.fit([[l.strip() for l ...
2019-07-13 17:01:01
1387
原创 Tensorflow：基本原理、数据类型及编码、转换
基本原理在TensorFlow中，所有的操作只有当你执行，或者另一个操作依赖于它的输出时才会运行。运行op构建图时不需要显示声明变量名，如tf.concat(axis=1, values=initial_state, name="initial_state")直接使用图中的name就可以运行了。initial_state = sess.run(fetches="lstm...
2019-07-13 17:00:18
242
原创 Tensorflow：安装和配置
安装anacondawindows下直接安装，最好勾上python加入系统路径。查看及安装tensorflow依赖查看cuda版本（机器支持gpu的不考虑）cat /usr/local/cuda/version.txtcuda版本及其对应tf版本：[经过测试的构建配置]查看python版本python -V安装python环境anaconda参考[pytho...
2019-07-13 16:59:43
1078
矩阵分析 中文版
2014-04-07
A First Course in Probability 第8版 Sheldon Ross
2014-10-31
chrom.adm.rar
2014-07-12
All Of Statistics 统计学完全教程 中英文高清版
2014-03-21
python最新参考手册3.4.0.chm
2014-03-22
python中文手册chm
2014-03-22
python 3.3.4（最新安装文件）
2014-03-22
Linux命令大全(Linuxidc.com修改版).chm
2014-03-22
linux内核分析及编程(倪继利)高清版
2014-03-22
机器学习实战 中文文字版
2014-03-22
python numpy安装包（windows64位）.exe
2014-03-23
Python核心编程第二版 高清文字版
2014-03-20
安装windows时找不到任何设备驱动程序。请确保安装媒体包含的驱动程序正确
发表于 2014-11-22 最后回复 2020-06-16
-柚子皮-的留言板
发表于 2020-01-02 最后回复 2020-01-02
sudo -i和sudo su -的区别
发表于 2014-11-23 最后回复 2018-07-07
打开visio提示windows正在配置microsoft office visio 2007的解决方法
发表于 2017-04-13 最后回复 2017-04-16
sklearn.cluster.KMeans中n_init参数是什么意思
发表于 2014-12-20 最后回复 2017-03-06
adobe acrobat xi 拖动鼠标就出现正在复制到剪切板
发表于 2014-12-16 最后回复 2016-12-11
python中log（）函数
发表于 2014-12-20 最后回复 2015-10-13
Django关联对象
发表于 2015-07-13 最后回复 2015-07-13
VitualBox Installation failed! Error: 系统找不到指定的路径。
发表于 2014-11-20 最后回复 2015-04-22
黑帽软件
发表于 2015-04-22 最后回复 2015-04-22
numpy.loadtxt读入的字符串总是bytes格式
发表于 2015-03-11 最后回复 2015-03-12
AttributeError: 'module' object has no attribute 'rcParams'
发表于 2014-12-26 最后回复 2014-12-28
cmd怎么取得PID
发表于 2014-11-20 最后回复 2014-12-27
PDF文档无法保存。读取本文档时出现问题(109)
发表于 2014-12-20 最后回复 2014-12-20
格式化dvd光盘时提示this disk is write protected
发表于 2014-11-22 最后回复 2014-12-16
acrobat没有找到源文件 盘符
发表于 2014-11-20 最后回复 2014-12-05
apt-get安装指定版本firefox时找不到指定包
发表于 2014-11-30 最后回复 2014-12-02
文件解压出错
发表于 2014-11-20 最后回复 2014-11-30
缺少 AdobePDF.dll
发表于 2014-11-26 最后回复 2014-11-30
怎样删除WIN7中多余的还原点
发表于 2014-11-27 最后回复 2014-11-30
ubuntu和windows壁纸存放位置
发表于 2014-11-22 最后回复 2014-11-27
Driver Magician 4.5 serial key
发表于 2014-11-26 最后回复 2014-11-27
host文件后缀名变为了.ics
发表于 2014-11-22 最后回复 2014-11-22
eclipse不能读取 AppletViewer 的属性文件
发表于 2014-11-20 最后回复 2014-11-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人 TA的粉丝