- 博客(24)
- 资源 (37)
- 收藏
- 关注
RSS订阅原创 tfrecord数据的可视化
import osimport tensorflow as tfos.getcwd()tfrecord_datapath = "xxxx.tfrecord"dataset = tf.data.TFRecordDataset(tfrecord_datapath)def _decode_record(record): name_to_features = dict(document...
2019-06-27 12:37:48
1010
转载 git只添加指定类型的文件的.gitignore规则
#忽略根目录下的所有文件*#忽略子目录下的所有文件/*#包含目录!*/#指定不忽略的文件!*.c!*.h#忽略根目录下的文件/build//appveyor//pear//scripts//travis/#忽略特定文件夹名tests/转载自：https://www.cnblogs.com/springwind2006/p/7753589.html...
2019-06-25 15:28:28
4523
原创 git使用分支细节
一、使用用户名和密码连接远程服务器时需要注意用户名 如果使用相同git username选项时用户名，认证一直失败；这个用户名要注意；但具体不清楚怎么寻找准确的，只是多尝试几个可能，就解决了问题；二、创建分支时，上传文件到分支需要使用如下命令： 首先查看有没有你新添的分支： git branch -a（带有*的分支是当前分支，如果...
2019-06-25 10:52:40
215
原创 将每个字典一行一行的添加到pd.DataFrame中
由于新生成的数据每次返回都一个字典，那如何才能添加到Dataframe格式中呢？ss = dict(a=1,b=2,c=3,d=4)s = dict(e=5)ss.update(s)ss["h"]=6ss {'a': 1, 'b': 2, 'c': 3, 'd': 4, 'e': 5, 'h': 6}df = pd.DataFrame()df=df.appen...
2019-06-22 15:45:03
16554
2
原创 用小括号表达一个长字符串
问题：一个长字符串太了，远远 超过72列，需要定义多行反斜杠最常用的方法，但还存在小括号的表达方式；如下使用小括号+‘’；有两个要点，一是小括号，二行每一行都需要单引号；html = ('<html><head><title>Test</title></head>' '<body><h1&g...
2019-06-20 15:17:48
209
原创 linux主机拷贝文件到另一台主机
拷贝一个文件：scp name1.file root@192.168.1.1:/root/tmp拷贝多个文件：scp name1.file name2.file root@192.168.1.1:/root/tmp如果是文件夹加个-r参数scp -r dirname1 root@192.168.1.1:/root/tmp...
2019-06-17 20:59:49
5027
原创 gpu使用比例限制
gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.01)with tf.Session(config=tf.ConfigProto(gpu_options=gpu_options)) as sess:
2019-06-17 11:43:07
2502
转载 复制当前光标所在单词句子
yaw和yas：复制一个词和复制一个句子，即使光标不在词首和句首也没关系1.1 Vim的几种模式正常模式：可以使用快捷键命令，或按:输入命令行。 插入模式：可以输入文本，在正常模式下，按i、a、o等都可以进入插入模式。 可视模式：正常模式下按v可以进入可视模式， 在可视模式下，移动光标可以选择文本。按V进入可视行模式， 总是整行整行的选中。ctrl+v进入可视块模式。 替换模式：正常...
2019-06-14 17:31:06
2309
原创 tf.clip_by_global_norm的理解
help(tf.clip_by_global_norm)Help on function clip_by_global_norm in module tensorflow.python.ops.clip_ops:clip_by_global_norm(t_list, clip_norm, use_norm=None, name=None) Clips values of mul...
2019-06-14 16:56:37
1239
转载 tensorflow dataset.shuffle dataset.batch dataset.repeat 理解 注意点
batch很好理解，就是batch size。注意在一个epoch中最后一个batch大小可能小于等于batch sizedataset.repeat就是俗称epoch，但在tf中与dataset.shuffle的使用顺序可能会导致个epoch的混合dataset.shuffle就是说维持一个buffer size 大小的 shuffle buffer，图中所需的每个样本从shuffle ...
2019-06-12 11:33:21
1274
转载 tensorflow 1.0 学习：参数初始化（initializer)
CNN中最重要的就是参数了，包括W,b。 我们训练CNN的最终目的就是得到最好的参数，使得目标函数取得最小值。参数的初始化也同样重要，因此微调受到很多人的重视，那么tf提供了哪些初始化参数的方法呢，我们能不能自己进行初始化呢？所有的初始化方法都定义在tensorflow/python/ops/init_ops.py1、tf.constant_initializer()也可以简写为tf....
2019-06-12 10:52:40
1490
原创 tf.variable_scope与tf.tf.get_variable
实验一、 不设置随机种子，使用不同的初始化方法import tensorflow as tf; import numpy as np; import matplotlib.pyplot as plt; with tf.variable_scope("test"): a1 = tf.get_variable(name='a1', shape=[2,3], initializ...
2019-06-11 19:59:15
144
转载 数据集shuffle方法中buffer_size的理解
tensorflow中的数据集类Dataset有一个shuffle方法，用来打乱数据集中数据顺序，训练时非常常用。其中shuffle方法有一个参数buffer_size，非常令人费解，文档的解释如下：buffer_size: A tf.int64 scalar tf.Tensor, representing the number of elements from this dataset fr...
2019-06-11 16:40:46
10431
原创 tensorflow随机性设置
案例一：import tensorflow as tftf.set_random_seed(42)sess = tf.InteractiveSession()a = tf.constant([1, 2, 3, 4, 5])tf.initialize_all_variables().run()a_shuf = tf.random_shuffle(a)print(a.eval())...
2019-06-11 16:13:31
1382
原创 解决GPU模型训练的随机性
问题：重复使用GPU训练模型（所有条件完全一致），模型结果不一致？原则：1、训练数据与测试数据切割是一致的；2、保证加载的训练数据是确定的；3、确定random seed ，np.random.seed，graph-level seed ，operation-level seed方案一：np.random.seed(1)from tensorflow import set_ra...
2019-06-10 17:50:30
1038
转载 解决样本不平衡问题的奇技淫巧 汇总
先举一个“恐怖”的例子，直观的感受一下样本不平衡问题：你根据1000个正样本和1000个负样本正确训练出了一个准确率90%召回率90%的分类器，且通过实验验证没有欠采样过采样的问题哦~完美的样本，完美的模型，破费，你心里暗自得意。然后模型上线，正式预测每天的未知样本~。开始一切都很美好，准确率召回率都很好。直到有一天，数据发生了一点变化，还是原来的数据类型和特征，只是每天新数据中正负样本变...
2019-06-10 15:57:13
841
1
原创 tfrecord可以以列表的形式传入多个路径
问题起源：要用模型评估多个数据集；input_file=[data_path1,data_path2,data_path3]dataset = tf.data.TFRecordDataset(input_file)
2019-06-10 11:07:53
538
原创 xgboost学习率不能大于1的原因
从公式上来说，gbdt的学习率参数为1是最拟合的，如果离1越远，精度越低，换句话说，就是绝对值大小从理论上来讲，该参数的必然要小于等于1，如图所示：...
2019-06-05 09:13:30
3370
原创 xgboost每次迭代取得最优值方法
xgboost每次迭代时，训练最新决策树的要求就是使得损失值最小，如图所示：获得最优值的办法就是解析解，如图所示：w最优值的计算公式来源于令损失函数导数为0计算得到的；...
2019-06-05 09:02:03
1682
原创 gpu安装记录
系统环境：centos 7.6，无桌面版一、安装驱动： a、禁用 nouveau 只有在禁用掉 nouveau 后才能顺利安装 NVIDIA 显卡驱动，禁用方法就是在 sudo vim /etc/modprobe.d/blacklist.conf文件中添加一条禁用命令；可参考（https://blog.csdn.net/oTengYue/article...
2019-06-04 21:01:14
351
转载 python #!/usr/bin/python作用
#!/usr/bin/python指定用什么解释器运行脚本以及解释器所在的位置# -*- coding: utf-8 -*-用来指定文件编码为utf-8的PEP 0263 -- Defining Python Source Code Encodingshttp://www.python.org/dev/peps/pep-0263/估计有不少人注意过一些python脚本开头有这么行东东：...
2019-06-04 14:40:04
2439
Training deep network without learningrate coinbet
2018-11-14
stacked Denoise autoencoder learning useful representation
2018-11-14
深度学习+tf
2018-11-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人