tensorflow
spider_fu
这个作者很懒,什么都没留下…
展开
-
libsvm格式
格式简介libsvm和libfm格式相同。在推荐系统中由于离散特征过于稀疏,为了减小存储负担,只保存索引值,即值为0的不存储。样例格式如下:<label> <index1>:<value1> <index2>:<value2> ... ... ...通过全数字的方式节省存储空间。其中,index表示第几个特征(事先记录号对应关系),value表示对应值。如果不在乎特征名称所占用的存储,可以直接存储名称,如下:<label>原创 2022-05-04 21:49:41 · 938 阅读 · 0 评论 -
内存直接打满,GPU利用率低
内存是存储数据的,GPU用来计算如果像尽量榨干算力,就尽量把无用的内存释放掉检查代码,找到一些无用的内存占用,比如哈希桶是不是太大了,减小或者去掉一些没有用的,又很大的特征让内存的数据尽量多的都是有用的(用来计算的),就可以加大利用率...原创 2022-01-29 15:50:57 · 1584 阅读 · 0 评论 -
tensorflow训练方式切换
tensorflow新版本支持直接调用gpu,不需要专门安装tensorflow的GPU版本安装以后,默认有GPU会直接调用GPU,当显卡不够时,有其他不是很吃速度的任务想要训练,就需要切换CPU训练方式os.environ["CUDA_VISIBLE_DEVICES"] = ""多个显卡,指定特定GPU训练os.environ['CUDA_VISIBLE_DEVICES']='2'...原创 2022-01-27 11:01:07 · 1489 阅读 · 0 评论 -
tf.data.dataset使用
参考https://tensorflow.google.cn/api_docs/python/tf/data/Datasetfrom_tensor_slices:将内存中的数据构建为数据集dataset = tf.data.Dataset.from_tensor_slices([1, 2, 3])repeat,batchrepeat设置遍历多少遍->epochbatch设置每次sample多少数据->batchsizedataset.repeat(3).batch(2)结果就原创 2021-06-25 14:39:10 · 363 阅读 · 0 评论 -
tf.io.decode_csv读取csv
参考https://tensorflow.google.cn/api_docs/python/tf/io/decode_csvtf.io.decode_csv( records, record_defaults, field_delim=',', use_quote_delim=True, na_value='', select_cols=None, name=None)records= '1,2,3,4,5'record_defaults = [ tf.constant(原创 2021-06-25 12:27:41 · 273 阅读 · 0 评论 -
tf.keras.activation.selu()
tf.keras.activation.selu(X)减缓梯度消失selu=scale * elu(x,alpha),其中alpha和scale是预定义的常量。 选择alpha和scale的值,以便在两个连续层之间保留输入的平均值和方差,只要正确初始化权重并且输入的数量“足够大”。elu:融合relu和sigmoid,其他方法:添加批归一化...原创 2021-06-23 15:04:16 · 244 阅读 · 0 评论 -
利用tensorboard查看整个过程
切换到callbacks目录下,使用命令tensorboard --logdir=callbacks启动后,浏览器输入http://localhost:6006/就可以查看整体图示原创 2021-06-23 11:21:15 · 241 阅读 · 0 评论 -
tf.keras学习之sequential
参考tensorflow中文社区做什么的?在官方文档中这样说:“list of layers to add to the model.”其实就是将一系列的层次堆叠起来。继承于model强调文本 强调文本加粗文本 加粗文本标记文本删除文本引用文本H2O is是液体。210 运算结果是 1024.插入链接与图片链接: link.图片: 带尺寸的图片: 居中的图片: 居中并且带尺寸的图片: 当然,我们为了让用户更加便捷,我们增加了图片拖拽功能。如何插入一段漂亮的代码原创 2021-06-22 17:08:34 · 541 阅读 · 0 评论 -
tf.keras学习之Flatten()
参考网址https://tensorflow.google.cn/api_docs/python/tf/keras/layers/Flattentf.keras.layers.Flatten( data_format=None, **kwargs)作用:展平矩阵,将多维矩阵展平为一维矩阵使用:import tensorflow as tfmodel = tf.keras.Sequential()model.add(tf.keras.Flatten())# 展平矩阵...原创 2021-06-22 15:21:43 · 1954 阅读 · 0 评论 -
解决ImportError: libcublas.so.10.0: cannot open shared object file: No such file or directory
这是比较常见的问题,根本原因就是找不到cuda下面说一下对应的几种情况:一、使用的是命令行再相应的虚拟环境下调用gpu版本的tensorflow报错这种情况一般有两种原因:1、cuda和tensorflow版本不对应解决办法:重新安装tensorflow,cuda,版本要对应,tensorflow中文社区有对应的详细内容,点开链接拉到最下面2、系统找到不到cudavim ~./bashrc最后面添加export PATH=/usr/local/cuda/bin${PATH:+:${PA原创 2020-06-11 12:15:29 · 36343 阅读 · 6 评论 -
tf.nn学习之l2_normalize(tf.math.l2_normalize)
现在都统一称呼为tf.math.l2_normalizetf1.15版本别名:tf.compat.v1.linalg.l2_normalizetf.compat.v1.math.l2_normalizetf.compat.v1.nn.l2_normalizetf.linalg.l2_normalizetf.nn.l2_normalize作用对于axis = 0的1-D张量,计算如下:output = x / sqrt(max(sum(x**2), epsilon))对于具有更多维度的原创 2020-06-05 17:41:04 · 5852 阅读 · 5 评论 -
tf.keras学习之layers.Dropout
参考tensorflow社区做什么的?将Dropout应用到输入使用tf.keras.layers.Dropout( rate, noise_shape=None, seed=None, **kwargs)参数rate:在0到1之间浮动。要降低的输入单位的分数。noise_shape:1D张量类型,int32表示将与输入相乘的二进制丢失掩码的形状;例如,如果您的输入具有形状(batch_size, timesteps, features),并且您希望原创 2020-05-14 14:56:34 · 10291 阅读 · 2 评论 -
tf.keras学习之input
参考tensorflow社区做什么的?对输入做一个初始化,自动生成的。使用tf.keras.Input(shape=None,batch_size=None,name=None,dtype=None,sparse=False,tensor=None,ragged=False,**kwargs)参数shape:shape=(32,)输入将是32维向量的。None代表形状未知的尺寸。batch_size:批量大小name:起一个名字。唯一的。默认会自动生成。dtype:数据原创 2020-05-13 18:22:54 · 796 阅读 · 1 评论 -
tf.keras学习之layers.Dense
参考tensorflow社区做什么的?简单来说就是对原矩阵进行变形,通过矩阵变换(矩阵乘法,偏置,激活函数)达到想要的矩阵形状。使用tf.keras.layers.Dense(units,activation=None,use_bias=True,kernel_initializer=‘glorot_uniform’,bias_initializer=‘zeros’,kernel_regularizer=None,bias_regularizer=None,activity_reg原创 2020-05-13 17:02:25 · 6243 阅读 · 0 评论