![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Tensorflow
XH生信ML笔记
无计算机背景的生信入坑者一枚,生物狗一只,读博时初涉linux,以后陆续入坑python,r,Machine Learning,Deep Learning。主页主要是备份代码,如果能帮助到其他朋友就更好。
展开
-
如何保存fit后的标准化工具函数StandardScaler
我们在训练模型时,常常需要标准化数据,常用的是sklearn.preprocessing模块中的 StandardScaler。而在我们测试数据时,也需要在同样的尺度下进行预测。但我们并不想重新导入原来训练的数据来fit 然后预测,这个时候我们可以保存scaler 然后导入直接标化自己需要预测的数据fit 自己的标化器# 导入模块import numpy as npimport panda...原创 2020-05-07 15:34:36 · 6165 阅读 · 3 评论 -
如何导入训练好的tensorflow model 并用其来预测自己的数据?
在使用tensorflow时,经常需要用别人训练好的模型来预测我们自己我们自己的数据。一般分为轻量级的保存参数和保存整个模型。使用保存weights 可以参考本人另外一篇博客。这儿主要介绍导入别人训练好的以h5格式保存的model并用其预测自己的数据:1. 导入库import tensorflow as tffrom tensorflow.keras import datasets, l...原创 2020-03-29 22:03:22 · 3808 阅读 · 0 评论 -
Tensorflow 使用Bidirectional()包装器构建双向LSTM模型,预测DNA序列功能
循环神经网络(RNN)循环神经网络RNN能处理时间序列,过去几年中,应用 RNN 在语音识别,语言建模,翻译,图片描述等问题上已经取得一定成功,并且这个列表还在增长。RNN模型的一个代表是LSTM ,这是一种特别的 RNN,比标准的 RNN 在很多的任务上都表现得更好,因此获得了非常多的应用。值得一提的是,lstm的作者也Jürgen Schmidhuber 也是机器学习领域的大牛,名气比三巨头...原创 2020-02-11 03:12:37 · 2587 阅读 · 1 评论 -
Tensorflow 2.0 LSTM训练模型
说到lstm之前需要说一下循环神经网络(Recurrent Neural Network,RNN), RNN是一种用于处理序列数据的神经网络。相比一般的神经网络来说,他能够处理序列变化的数据,特别是时间序列数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义,RNN就能够很好地解决这类问题。但RNN有个关键问题,在处理长序列后面时出现梯度消失和梯度爆炸的问题,lstm正好解决了这个问题...原创 2020-01-29 00:33:49 · 4034 阅读 · 0 评论 -
BaseCollectiveExecutor::StartAbort Out of range: End of sequence [[{{node IteratorGetNext}}问题
使用tensorflow2时训练epoch出现Epoch 35/10054/55 [============================>.] - ETA: 0s - loss: 0.5587 - accuracy: 0.70622020-01-07 15:36:38.360506: W tensorflow/core/common_runtime/base_collective_e...原创 2020-01-08 06:19:53 · 5580 阅读 · 10 评论 -
tensorflow神经网络模型中使用正则化和dropout来提高模型训练效果
模型过拟合时可以通过正则化降低神经网络参数的作用,可同时使用dropout来断掉一些神经元之间的连接,提高模型的泛化能力:import tensorflow as tffrom tensorflow.keras import datasets, layers, optimizers, Sequential, metricsimport pandas as pdimport numpy as...原创 2020-01-07 03:44:40 · 671 阅读 · 0 评论 -
Early stoping和checkpoint在tensofrflow中的使用
在训练中使用early stoping终止模型和使用checkpoint保存模型当我们训练模型时,如果epoch设置太长,常常希望可以在loss不再下降或者accuracy不再提高时终止训练,获得模型,避免模型浪费时间,这时可以使用tensorflow 中的early stoping终止模型和使用checkpoint保存模型:import tensorflow as tffrom tenso...原创 2020-01-07 03:17:34 · 401 阅读 · 0 评论 -
为什么卷积神经网络的layers层数不断升高?
通常卷积神经网络的层数是不断升高的,如经典的resnet和vgg网络。vgg的网络结构:conv_layers = [ # 5 units of conv + max pooling # unit 1 layers.Conv2D(64, kernel_size=[3, 3], padding="same", activation=tf.nn.relu), layers....原创 2019-12-21 09:05:52 · 1216 阅读 · 0 评论 -
卷积神经网络中的参数数目计算
卷积神经网络中卷积层的参数设置与卷积核的大小还有数目有关。具体数目为:卷积核size×卷积核size×均积核的channel数目×卷积核的数目×bias(卷积核数目);全连接层的参数数目为:imput的matrix特征数目*全连接层Dense数值import tensorflow as tffrom tensorflow.keras import layers, optimizers, da...原创 2019-12-01 01:08:08 · 541 阅读 · 0 评论 -
tensorfow NotFoundError: Could not find valid device for node. Node:{{node Tanh}}问题
使用tensorfolw2 tf.tanh函数,出现NotFoundError: Could not find valid device for node.错误:>>> a = tf.range(-2,3)>>> a<tf.Tensor: id=180, shape=(5,), dtype=int32, numpy=array([-2, -1, 0...原创 2019-11-11 02:10:57 · 5254 阅读 · 3 评论