公众号：瑞行AI

加大batch，导致 输入数据维度过大 报错加一张gpu卡

tensorflow单机多卡训练TensorFlow在1.13版本里发布的tf.distribute API 支持单机多卡分布式训练。该API支持各种分布式Strategy切换：MirroredStrategy用于单机多卡 数据并行 同步更新的情况，在每个GPU上保存一份模型副本，模型中的每个变量都镜像在所有副本中。这些变量一起形成一个名为MirroredVariable的概念变量。通过apply相同的更新，这些变量保持彼此同步。镜像策略用了高效的All-reduce算法来实现设备之间变量的传递

Bert是一种更合理的语言模型，基于bert预训练模型fine-tune可以完成文本分类、问答匹配等任务。本文主要记录使用bert预训练语言模型做二分类文本分类的实验过程。源码下载：https://github.com/google-research/bert预训练模型版本：（1）chinese_L-12_H-768_A-12对应BERT-Base, Chinese: Chinese Simplified and Traditional, 12-layer, 768-hidden, 12-heads,

textCNN网络结构textCNN 只有一层卷积,一层max-pooling, 最后将输出外接softmax 来n分类。（1）对句子分词后onehot编码，对应6*5矩阵；（2）4*5的卷积核作用后，产生3*1的feature-map；（3）map-pooling取feature-map最大值；（4）各种卷积核过滤、max-pooling后横向concat，全连接输出层。tensorflow搭建网络及测试案例#coding=utf-8import tensorflow as tfimpor

推荐一个Python入门学习利器http://www.kuqin.com/abyteofpython_cn/_ _ init _ _方法在类的一个对象被建立时，马上运行。这个方法可以用来对你的对象做一些你希望的初始化。#把__init__方法定义为取一个参数name(以及普通的参数self)。在这个__init__方法里，只创建了一个新的域self.name。注意name和self.n...

python中的字符串格式函数str.format()，{sen}的用法有点类似于关键字参数{}print('I\'m {},{}'.format('July','Young'))>>>I'm July,Young{0}print('{1},I\'m {0}, {2}'\.format('July','Hello','Young'))>>>Hello,I'm July, Young{sen}p

%matplotlib inlineimport numpy as npimport tensorflow as tfimport matplotlib.pyplot as pltplt.rcParams['figure.figsize']=(8,6)n_observations=100xs=np.linspace(-3,3,n_observations)ys=np.sin(xs)+np.random.uniform(-0.5,0.5,n_observations)plt.scatter(

import os #设置使用机器的gpuos.environ["CUDA_VISIBLE_DEVICES"] = "2"#import os #设置使用机器的cpu#os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" #os.environ["CUDA_VISIBLE_DEVICES"] = "-1"import numpy as npimport tensorflow as tffrom tensorflow.examples.tuto

生成变量维度a1=tf.zeros([])a2=tf.zeros([2])a3=tf.zeros([2,6])with tf.Session() as sess: sess.run(tf.global_variables_initializer()) r1,r2,r3=sess.run([a1,a2,a3]) print(r1)print(r2)print(r3)# 0.0# [0. 0.]# [[0. 0. 0. 0. 0. 0.]# [0. 0. 0.

tensorflow的API既支持单机的，又支持分布式的。tensorflow四个概念：graph->程序、session->进程、runtime->操作系统、device->设备。Exec System结点通信是利用protobuf数据结构，通过grpc通信传输。protobuf是一种数据结构，可以类似XML/json理解，该格式压缩数据、节省空间，存文件可持久化(二进制形式存储)。定义一个protobuf后，对所有语言都可以用。grpc本质是一个rpc service，通

模型跑起来需要两步：（1）描绘整幅图Graph（2）在Session中执行图里的运算

多分类softmax激活函数 & 二分类sigmoid激活函数（1）多分类：样本属于第kkk个类别(总共KKK个类别)的概率Sk=exk∑i=1KexiS_k=\frac{e^{x_k}}{\sum\limits_{i=1}^K e^{x_i}}Sk​=i=1∑K​exi​exk​​其中xkx_kxk​是样本经过隐层线性组合后的结果。（2）二分类：样本属于正类1(正类1、负类0)的...

import kerasimport numpy as npimport matplotlib.pyplot as plt#按顺序构成的模型from keras.models import Sequential#Dense全连接层from keras.layers import Dense #构建一个顺序模型model=Sequential()#在模型中添加一个全连接层#unit

实验数据MNIST初次训练模型并保存import numpy as npfrom keras.datasets import mnistfrom keras.utils import np_utilsfrom keras.models import Sequentialfrom keras.layers import Densefrom keras.optimizers import SG

Keras后端基于Tensorflow、Theano以及CNTK编写而成，Keras中文文档参考 http://keras-cn.readthedocs.io/en/latest/Keras序贯模型搭建神经网络模型的一般步骤：1.从keras.models库引入Sequential类 2.定义Sequential类的对象model 3.向model里add每一层（隐藏层，激活层等） 4.逐层

Tensorflow数据IO的三种方式：数据直接嵌入graph，由graph传入session中运行 ——> constsnt用placeholder占位符代替数据，运行时用feed_dict填入数据 ——> graph程序copy到不同机器，数据在local读(一个session只能执行一个graph，一个graph可以传输给多个session)Pipeline：用Queue机制异步的方式(生产者消费者模式)实现数据IO ——>tf.TextLinereader()每次读一行

MNIST数据集信息参考：http://yann.lecun.com/exdb/mnist/index.html MNIST是手写数字0~10图片数据集，每一张图片包含28*28个像素。 MNIST训练数据集包含：（1.）60000张图片的像素信息，表示成一个[60000,28,28]的张量；（2.）60000张图片的标签信息，表示成一个[60000,10]的矩阵，因为图片的标签是介于0-9的数

Tensorflow是Google开源的深度学习框架，用于训练神经网络模型Google的神经网络可视化工具http://playground.tensorflow.org/下文为了叙述方便，将Tensorflow简记为tftf计算模型——计算图graphtf会将定义的“计算”自动转化成“计算图上的节点”，“节点之间的边”描述了“计算之间的依赖关系”，tf的计算图可以用来隔离