代码笔记
thormas1996
关注机器学习,深度学习,联邦学习,推荐系统等相关内容
展开
-
url open error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed
Python3 在下载数据集的时候需要多验证一次证书,会导致以下错误:URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:748)>解决办法:import sslssl._create_default_https_context = ssl._cr...原创 2019-10-29 19:59:09 · 1143 阅读 · 0 评论 -
tensorflow笔记 cross entropy loss
交叉熵损失函数是模型中非常常见的一种损失函数,tensorflow中一个计算交叉熵的函数:tf.nn.sigmoid_cross_entropy_with_logits,也可以调用keras中的函数: tf.keras.backend.binary_crossentropy,两者有一些不同。先来看看tf自带的sigmoid_cross_entropy_with_logits:tf.nn.si...原创 2019-07-09 14:39:20 · 1785 阅读 · 3 评论 -
tensorflow笔记 tf.metrics.accuracy
tf.metrics.accuracy用于计算模型输出的准确率tf.metrics.accuracy( labels, predictions, weights=None, metrics_collections=None, updates_collections=None, name=None)return accuracy, update...原创 2019-05-17 14:37:40 · 1565 阅读 · 2 评论 -
tensorflow笔记 协调器tf.train.Coordinator
原理TensorFlow中有两个函数管理Session中的多线程:Coordinator和 QueueRunner。同一个Session中可以创建多个线程,但所有线程必须能被同步终止,异常必须能被正确捕获并报告。当会话终止的时候, 队列必须能被正确地关闭。Coordinator用来管理在Session中的多个线程,可以用来同时停止多个工作线程,同时报告异常,当程序捕捉到这个异常后之后就会终止...原创 2019-05-14 20:09:45 · 549 阅读 · 0 评论 -
tensorflow笔记 string_input_producer, slice_input_producer
tensorflow将读取数据分为了两个步骤,先读入文件名队列,再读入内存队列进行运算。为了减少GPU的等待时间,提高计算速度,tensorflow使用两个线程来分别处理这两个步骤。tf有三个函数string_input_producer, slice_input_producer, input_producer用于建立文件名队列。函数参数如下所示,除了tensor list是必须外,其余都可以...原创 2019-05-14 17:40:22 · 1531 阅读 · 0 评论 -
jupyternotebook 撤销删除操作
方法一先按esc进入命令模式,即左侧线为蓝色(为绿色时是编辑模式),按z键即可恢复方法二如果是运行过的代码直接运行history原创 2019-05-09 17:48:16 · 46620 阅读 · 4 评论 -
tensorflow笔记 tfrecord创建及读取
之前很少仔细看tf的一些基础api,只要能跑通就过了,最近打算花时间把部分基础api整理一下,方便以后使用。简介tfrecord是tensorflow训练模型时比较常用的处理大量数据的格式。简单来说,一种二进制数据储存格式,比一次性读取csv或jpg数据要更快,且占用更小的内存。生成tfrecord文件考虑一个简单的分类问题数据集,feature是一个1x5的向量,label取值为0或1...原创 2019-05-09 17:12:54 · 320 阅读 · 0 评论 -
数据处理 笔记
数据处理笔记import pandas as pd#读取数据data = pd.read_csv(path, header=0) #head=0表示第一行取为列名,head=-1表示列名为空#改列名data.columns = ['column1', 'column2', 'column3']#取多列data_12 = data[['column1', 'column2']]...原创 2019-05-05 10:16:10 · 192 阅读 · 0 评论 -
tensorflow1.9新功能 autograph
最近tf更新了一个新功能autograph,可以将python代码转化为计算图的形式,从而大幅提升效率。源码安装:pip install -U tf-nightly导入:from tensorflow.contrib import autograph as ag调用autograph有两种方式,一种是声明,另一种是调用封装的api#直接对函数声明@ag...翻译 2018-07-19 10:32:15 · 1642 阅读 · 0 评论 -
tensorflow笔记 tf.Print()
调试程序的时候,经常会需要检查中间的参数,这些参数一般是定义在model或是别的函数中的局部参数,由于tensorflow要求先构建计算图再运算的机制,也不能定义后直接print出来。tensorflow有一个函数tf.Print(),当然用python本身的print也可以,这个稍后提及。 tf.Print(input, data, message=None, first_n=None,...原创 2018-07-26 21:30:25 · 31240 阅读 · 6 评论 -
seq2seq实例详解(待完成)
seq2seq实例详解(待完成) 比较好的博客:https://blog.csdn.net/wangyangzhizhou/article/details/77883152https://blog.csdn.net/leadai/article/details/78809788原创 2018-07-25 00:25:45 · 788 阅读 · 0 评论 -
tensorflow笔记 embedding_lookup
tensorflow中有一个函数embedding_lookup可以很方便地将输入转化为嵌入矩阵。一般方便起见,我们会使用一个由随机数组成的embedding矩阵,但效果个人觉得和one-hot差不太多。这个矩阵仅仅是初始化矩阵,在更新权重的时候是会改变的。实现很简单:inputs = tf.placeholder(tf.int32, name='inputs')with tf.var...原创 2018-07-23 17:05:56 · 1901 阅读 · 1 评论 -
tensorflow笔记 变量
用jupyter调试模型的时候,经常会遇到类似的错误Variable embedding already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope?Variable encoder/embedding does not exist, or was not cr...原创 2018-07-20 11:30:58 · 1822 阅读 · 0 评论 -
tensorflow笔记 查看模型的参数
tensorflow在contrib下有一个函数slim,导入方式:import tensorflow.contrib.slim as slim我在用saver()读取之前模型的时候多次遇到了attempting to use uninitialized variable的问题,因此需要查看读取的变量。 在存模型或读模型之前用slim可以去查看存了哪些变量model_vari...原创 2018-07-11 15:00:58 · 3982 阅读 · 0 评论 -
tensorflow入门不错的资源
mark一些tensorflow入门不错的资源: tensorflow的源码,官方文档:https://github.com/tensorflow/tensorflowhttps://www.tensorflow.org/api_docs/python/tf/nn/static_bidirectional_rnn大部分问题这两个地方都能找到:https://github.c...原创 2018-06-22 17:08:46 · 372 阅读 · 0 评论 -
tensorflow 报错整理
主要收集一些遇到的报错和解决办法报错illegal instructiontensorflow-gpu 1.6.0之后的版本要求gpu支持AVX指令集,老版GPU不支持,切换回1.5.0或之前版本报错ValueError: Variable hello/rnn/basic_lstm_cell/weights already exists, disallowed....原创 2018-06-20 11:01:50 · 1377 阅读 · 0 评论 -
tensorflow入门笔记
最近一直在实现一个seq2seq模型,正好把相关tensorflow和RNN基础模型的知识整理回顾一下(一)tensorflow入门笔记(二)RNN,LSTM和GRU原理(三)attention机制(四)seq2seq实例详解基础背景 tensorflow的核心是计算图,即op。 一个基于tensorflow的代码一般包含两步: 1. 创建计算图(op) 2. 运...原创 2018-06-19 15:37:42 · 645 阅读 · 0 评论