Tensorflow深度学习
西杭
温水煮了将军梦
展开
-
Tensorflow共享变量机制
背景我们定义变量通常使用tf.Variable()的方式进行创建变量,但在某种情况下,一个模型需要使用其他模型创建的变量,两个模型一起训练。比如:对抗网络中的生成器模型和判别器模型。如果使用Variable进行创建,那么得到的是一个新的变量,而非原来的变量。这时就需引入共享变量解决问题。tf.get_variable使用tf.Variable创建变量,每次都会在内存中生成一个新的var...原创 2019-04-19 16:14:02 · 379 阅读 · 0 评论 -
Tensorboard简介与使用
Tensorboard介绍Tensorboard可以将训练过程中各种绘制数据展示出来,包括标量,图片,音频,计算图,数据分布,直方图等。当然Tensorboard并不会自动把代码展示出来,其实他是一个日志展示系统,需要在session计算图时,将各种类型的数据汇总并输出到日志文件中去,然后启动tensorboard服务,tensorboard读取这些日志文件,并开启6006端口提供web服...原创 2019-04-18 21:09:58 · 503 阅读 · 0 评论 -
TensorFlow保存和载入模型方法
保存和载入模型方法保存模型首先建立一个tf.train.Saver,然后使用save方法保存会话sess即可。#之前为构建模型graph的操作saver = tf.train.Saver()with tf.Session as sess: #进行训练,训练完毕后保存会话状态 saver.save(sess, "save_path/file_name") #...原创 2019-04-18 19:35:32 · 522 阅读 · 0 评论 -
多层神经网络的线性与拟合问题
是否线性问题线性可分 可以用直线分割的方式解决问题,可以说这个问题是线性可分的 非线性问题 非线性问题就是直线分不开的问题。可以利用高维扩展将非线性问题转化为线性问题。拟合问题欠拟合定义:没有拟合到想要得到的真实数据情况 欠拟合原因:欠拟合的原因并不是因为模型不行,而是我们的学习方法无法更精准的学习到适合的模型参数。模型越薄弱,对训练的要求就越高。但是可以采用增加节点或者增加层的方式...原创 2019-04-22 17:49:09 · 937 阅读 · 0 评论 -
Tensorflow数据读取机制及数据增强机制
原理tensorflow使用双队列“文件名队列+内存队列”的形式读入文件,可以很好的管理epoch。文件名队列使用tf.train.string_input_producer()建立 内存队列不需要自己建立,使用reader对象在文件名队列中读取数据即可。介绍相关函数tf.train.string_input_producer()参数详情:string_tensor:输入的...原创 2019-04-17 21:35:12 · 507 阅读 · 0 评论 -
单个神经元相关总结
Graph图的一些操作注意:import tensorflow as tfc = tf.constant(0.0)g = tf.Graph()with g.as_default(): c1 = tf.constant(0.0) print(c1.graph) print(g) print(c.graph) g3 = tf.get_defaul...原创 2019-04-22 11:40:37 · 449 阅读 · 0 评论 -
从手写数字图片(MNIST)识别看卷积神经网络
生成图片from tensorflow.examples.tutorials.mnist import input_dataimport scipy.miscimport numpy as npimport osimport tensorflow as tfmnist = input_data.read_data_sets("MNIST_data/", one_hot=True)...原创 2019-04-13 21:12:15 · 894 阅读 · 0 评论 -
tensorflow入门
输出hello,worldimport tensorflow as tftensor = tf.constant('hello, world')sess = tf.Session()result = sess.run(tensor)sess.close()print(result)输出结果2019-04-06 09:26:52.204823: I tensorflow...原创 2019-04-06 16:03:00 · 233 阅读 · 0 评论 -
Deep Learning getting started
Basic concept其概念来源于人工神经网络的研究,含多隐层的多层感知器就是一种深度学习结构,其通过组合低层特征形成更加抽象的高层表示属性类别或特征,以发现数据的分布式特征表达。深度学习允许那些由多处理层组成的计算机模型去学习具有多个等级抽象数据的表达,可利用反向传播算法发现大数据的内在复杂结构,然后BP算法(Back Propagation 反向传播)会指导机器如何在每一层利用从上一层...原创 2019-04-05 11:06:09 · 318 阅读 · 0 评论 -
scipy科学计算库简单入门
安装scipy科学计算子库pip install --user numpypip install --user scipypip install --user matplotlibpip install --user pandasnumpy建立范例>>> import numpy as np>>> np.array([1,2,3])a...原创 2019-02-27 17:54:51 · 414 阅读 · 0 评论 -
kaggle下载数据集步骤
一.前言在下载之余利用间隙时间来分享Microsoft Malware Classification Challenge (BIG 2015)数据集的获取。先前笔者在搜索引擎想得到获取方式的时候,几乎没有教程是特定于这个数据集的,于是想记录这个过程。二.准备1.安装kaggle库pip install kaggle2.注册登录kaggle账户https://www.kagg...转载 2020-02-01 18:13:13 · 6294 阅读 · 8 评论 -
机器学习入门(一)
绪论2015年kaggle恶意代码分类比赛,提供超过500G的源码 早期反病毒软件均采用单一的特征匹配方法,利用特征串完成检测。 此次比赛冠军采用三个黄金特征:恶意代码图像,OpCode n-gram, Headers个数 并且使用xgboost和pypy加快训练速度 算法和数据是机器学习解决实际问题不可缺少的两大因素 训练使用了百度开源的深度学习架Paddle机器学习工具箱numpy...原创 2019-01-26 14:09:59 · 408 阅读 · 0 评论 -
利用机器学习进行恶意代码分类
背景偶然看见2015年微软在kaggle上发起的恶意代码分类比赛,并提供超过500G的源码早期反病毒软件均采用单一的特征匹配方法,利用特征串完成检测。此次比赛冠军采用三个黄金特征:恶意代码图像,OpCode n-gram, Headers个数并且使用xgboost和pypy加快训练速度转载当年乌云的一篇文章留底最近在Kaggle上微软发起了一个恶意代码分类的比赛,并提供了超...转载 2019-01-25 22:05:49 · 2886 阅读 · 1 评论