tensorflow/keras
Zero_to_zero1234
Be objective
展开
-
docker入门指令
docker常见指令:docker pull xxx 拉取某个镜像docker run 运行某个镜像# 列出本机正在运行的容器$ docker container ls# 列出本机所有容器,包括终止运行的容器$ docker container ls --all# 删除某个镜像docker container rm [containerID]#退出container输入:exit或者按键:Ctrl + D# 杀死containerdocker kill [cont.原创 2022-02-20 13:30:31 · 468 阅读 · 0 评论 -
onnx相关技术博客记录
ONNX初探:https://mp.weixin.qq.com/s?__biz=MzA4MjY4NTk0NQ==&mid=2247492739&idx=1&sn=8b5b57089833edcb92e7ddcd7f8516c5&scene=21#wechat_redirectONNX 再探https://mp.weixin.qq.com/s?__biz=MzA4MjY4NTk0NQ==&mid=2247493044&idx=1&sn=bb4c2a原创 2021-09-07 15:12:41 · 141 阅读 · 0 评论 -
TensorFlow:怎么替换或者修改梯度?
问题:我想要去替换或修改 TensorFlow 中一个 op 或 部分计算图的梯度,该怎么整?在某些情况下,这和 tf.stop_gradient() 是相对的:我们想要的不是“添加一个 op,然后在计算梯度的过程中忽略该 op”,我们想要的是“只在梯度计算时起作用(I want a calculation which is only used when calculating gradients)”一个简单的例子如下:在不改变前向传播的情况下,通过给梯度乘以一个常量来缩放梯度。另一个原创 2020-12-28 20:15:38 · 721 阅读 · 0 评论 -
访问远程服务器的tensorboard
场景与问题tensorflow程序运行在远程服务器,tensorboard启动后访问地址为:0.0.0.0:6006。这样没法用自己机器上的浏览器访问tensorboard。解决办法1 . 连接ssh时,将服务器的6006端口重定向到自己机器上来:ssh -L 16006:127.0.0.1:6006 username@remote_server_ip其中:16006:127.0.0.1代表自己机器上的16006号端口,6006是服务器上tensorboard使用的端口。2 . 在服务器上使用转载 2020-05-25 10:07:18 · 726 阅读 · 0 评论 -
TensorFlow 2.0简明入门指南
Tensorflow2.0虽说简单易用,但是在日常使用过程中,仍有许多细节需要注意。那么,本文主要通过转载 https://www.zybuluo.com/Team/note/1479565学习,对tensorflow2.0重要细节进行补充和说明,几乎全文高能,值得认真一度:TensorFlow虽是深度学习领域最广泛使用的框架,但是对比PyTorch这一动态图框架,采用静态图(Graph模式)的...转载 2020-04-20 19:43:31 · 1220 阅读 · 0 评论 -
keras中Input的shape及batch_shape
Input(shape=None,batch_shape=None,name=None,dtype=K.floatx(),sparse=False,tensor=None)shape: 形状元组(整型),不包括batch size。for instance, shape=(32,) 表示了预期的输入将是一批32维的向量。batch_shape: 形状元组(整型),包括了batch size...原创 2020-04-05 00:05:26 · 4667 阅读 · 0 评论 -
模型结构可视化神器——Netron
在线Netron网址: https://lutzroeder.github.io/netron/前段时间,发现了一个可视化模型结构的神奇:Netron目前的Netron支持主流各种框架的模型结构可视化工作,我直接给出gayhub链接:https://github.com/lutzroeder/Netron支持windows,Linux,mac系统转载自链接:https://blog.cs...转载 2020-01-09 17:12:05 · 1296 阅读 · 0 评论 -
Python数据科学速查表(Jupyter、Numpy、Pandas、Matplotlib、Seaborn、Keras)
首先表示感谢,也必须对原作者表示感谢!原图github链接,可以过去star一个 : https://github.com/jaystone776/python-data-science-cheatsheet一、Jupyter Notebook(必会入门工具)二、数据导入三、Python基础四、Numpy(计算库)四、Pandas基础五、Pandas进阶六、Matplot...原创 2020-01-07 18:25:23 · 2809 阅读 · 0 评论 -
keras实现seq2seq+attention(直接能跑通的python代码)
import osimport tensorflow as tffrom keras import backend as Kfrom keras import regularizers, constraints, initializers, activationsfrom keras.layers.recurrent import Recurrentfrom keras.engine i...原创 2019-12-23 15:43:09 · 3191 阅读 · 0 评论 -
ALBERT的简单尝试
这两天,对刚出来的Albert模型进行了简单尝试,记录一下:基本参照两位大佬:https://github.com/brightmart/albert_zhhttps://github.com/bojone/bert4kerashttps://kexue.fm/以下代码基本来源于:https://github.com/bojone/bert4keras/blob/master/exa...原创 2019-10-10 17:50:27 · 3235 阅读 · 6 评论 -
BERT相关知识讲解(1)之 transformer
参考自:http://fancyerii.github.io/2019/03/09/transformer-codes/每个词都是有其他词的信息的,这个是 FNN 的区别与普通的 attention 相比,Query可以看作是decoder的隐状态,Key可以看作是encoder的输出,Value可以看作是encoder的输出多头其实就是多组 矩阵对,每一组QKV都可以看...原创 2019-10-10 11:06:15 · 534 阅读 · 0 评论 -
keras中添加mask和取消mask
添加mask操作:class AddMask(keras.layers.Layer): def __init__(self, mask=None, **kwargs): super(AddMask, self).__init__(**kwargs) self.supports_masking = True # self.supports_m...原创 2019-09-26 10:10:42 · 1229 阅读 · 0 评论 -
keras保存和加载模型以及加载中间层权重
最近使用keras过程中碰到常见问题,如何保存keras模型和加载模型https://keras-cn.readthedocs.io/en/latest/for_beginners/FAQ/#gpukeras如果你需要加载权重到不同的网络结构(有些层一样)中,例如fine-tune或transfer-learning,你可以通过层名字来加载模型:model.load_weights('my_...原创 2019-09-25 17:26:08 · 6671 阅读 · 0 评论 -
如何在多张GPU卡上使用Keras?
以下内容来自:https://keras-cn.readthedocs.io/en/latest/for_beginners/FAQ/#gpukeras我们建议有多张GPU卡可用时,使用TnesorFlow后端。有两种方法可以在多张GPU上运行一个模型:数据并行/设备并行大多数情况下,你需要的很可能是“数据并行”数据并行数据并行将目标模型在多个设备上各复制一份,并使用每个设备上的复...原创 2019-09-25 17:18:49 · 334 阅读 · 0 评论 -
CUDA,NVIDIA Driver,Linux,GCC之间的版本对应关系表格
参考:https://blog.csdn.net/dudu815110/article/details/87167518转载 2019-04-23 18:48:09 · 2929 阅读 · 0 评论 -
Python的7种性能测试工具:timeit、profile、cProfile、line_profiler、memory_profiler、PyCharm图形化性能测试工具、objgraph
请参考:https://blog.csdn.net/xiemanR/article/details/72763234转载 2019-04-28 15:58:58 · 1367 阅读 · 0 评论 -
linux下svn常用命令
转载自:https://blog.csdn.net/liuchong_lch/article/details/781927551、将文件checkout到本地svn checkout path(path是服务器的目录)例如 :svn checkout svn://192.168.1.1/pro/domain2、往版本库中添加新的文件svn add filename例如:svn add ...转载 2019-04-28 16:51:06 · 145 阅读 · 0 评论 -
model.compile()函数和keras中评价函数的设置
keras中评价函数的设定具体可参考:https://keras.io/zh/metrics/https://blog.csdn.net/linxid/article/details/82861957原创 2019-05-08 10:36:18 · 5384 阅读 · 0 评论 -
深度学习调参和数据增强
深度学习中关于模型训练的一些小技巧:一、数据平衡性对模型的影响训练数据的均衡性,对模型的收敛速度和训练效果都会有较大影响。拿分类问题来说,如果是二分类或者三分类,如果某一类数据特别少很容易导致模型训练收敛慢,而且模型真正的表达能力不强,准确率可能很高,但是 f1 值不高,就是各类数据的准确率不是都很高,在少量数据的类方面,预测能力较弱,但是可能由于数据少的原因,导致问题被遮掩所以,解决方法可...原创 2019-05-07 17:51:45 · 785 阅读 · 0 评论 -
Keras 转换成 Tensorflow 模型格式并使用
keras有时候在部署的时候有很多不便,那么有以下方式进行改善和处理:一、Keras 转换成 Tensorflow 模型格式并使用:http://www.liuxiao.org/2018/10/keras-trained-model-export-for-tensorflow-serving/二、keras(tensorflow后端)给模型建立单独的graphhttps://blog.cs...原创 2019-07-10 12:20:28 · 3107 阅读 · 1 评论 -
tensorflow中文文档
中文文档: https://www.tensorflow.org/beta/guide/data_performance?hl=zh-Cn转载 2019-07-18 10:37:11 · 401 阅读 · 0 评论 -
Tensor is not an element of this graph类图冲突问题的解决方法
很多用keras的同学都容易遇到此类问题,当和其他tf模型一起在项目中加载是就容易出现,所以加载模型前,构建图 os.environ["CUDA_VISIBLE_DEVICES"] = str(gpu_id) config = tf.ConfigProto() config.gpu_options.per_process_gpu_memory_fr...原创 2019-08-22 17:34:04 · 1106 阅读 · 0 评论 -
keras中去掉mask的方法
在使用 cudnnlstm 时,不能使用上层传下来的 Mask,那么可以使用重新定义一个类,去除 Maskclass RemoveMask(keras.layers.Layer): def __init__(self, return_masked=False, no_mask=False, **kwargs): super(RemoveMask, self).__init...原创 2019-08-28 17:22:32 · 1001 阅读 · 1 评论 -
防止过拟合的几种方式
神经网络,常见防止模型过拟合的几种方式:1、数据增强,合适的数据增强方式可以很大程度提高模型鲁棒性2、使用正则化项可以参考:https://segmentfault.com/a/1190000018378231keras正则化3、使用dropout4、根据损失和accuracy走势,提前停止可参考:https://www.zybuluo.com/Team/note/1148041...原创 2019-08-29 15:11:09 · 1104 阅读 · 0 评论 -
tensorflow的回调函数Callbacks
参考:https://keras-cn.readthedocs.io/en/latest/other/callbacks/转载 2019-04-22 17:58:44 · 2518 阅读 · 0 评论