关闭
当前搜索:

Tensorflow实战学习(五十一)【生成式对抗网络】

生成式对抗网络(gennerative adversarial network,GAN),谷歌2014年提出网络模型。灵感自二人博弈的零和博弈,目前最火的非监督深度学习。GAN之父,Ian J.Goodfellow,公认人工智能顶级专家。 原理。 生成式对搞网络包含一个生成模型(generative model,G)和一个判别模型(discriminative model,D)。Ian J.G...
阅读(112) 评论(0)

Tensorflow实战学习(五十)【TensorFlow源代码解析】

TensorFlow目录结构。 ACKNOWLEDGMENTS #TensorFlow版本声明 ADOPTERS.md #使用TensorFlow的人员或组织列表 AUTHORS #TensorFlow作者的官方列表 BUILD CONTRIBUTING.md #TensorFlow贡献指导 ISSUE_TEMPLATE.md #提ISSUE的模板 LICENSE #版权许可 README.md...
阅读(68) 评论(0)

Tensorflow实战学习(四十九)【模型存储加载,队列线程,加载数据,自定义操作】

生成检查点文件(chekpoint file),扩展名.ckpt,tf.train.Saver对象调用Saver.save()生成。包含权重和其他程序定义变量,不包含图结构。另一程序使用,需要重新创建图形结构,告诉TensorFlow如何处理权重。 生成图协议文件(graph proto file),二进制文件,扩展名.pb,tf.tran.write_graph()保存,只包含图形结构,不包含...
阅读(87) 评论(0)

Tensorflow实战学习(四十八)【系统架构,设计理念,编程模型,API,作用域,批标准化,神经元函数优化】

系统架构。 自底向上,设备层、网络层、数据操作层、图计算层、API层、应用层。核心层,设备层、网络层、数据操作层、图计算层。最下层是网络通信层和设备管理层。 网络通信层包括gRPC(google Remote Procedure Call Protocol)和远程直接数据存取(Remote Direct Memory Access,RDMA),分布式计算需要。设备管理层包手包括TensorFl...
阅读(97) 评论(0)

Tensorflow实战学习(四十七)【PlayGround,TensorBoard】

PlayGround。http://playground.tensorflow.org 。教学目的简单神经网络在线演示、实验图形化平台。可视化神经网络训练过程。在浏览器训练神经网络。界面,数据(DATA)、特征(FEATURES)、神经网络隐藏层(HIDDEN LAYERS)、层中连接线、输出(OUTPUT)。 数据。二维平面,蓝色正值,黄色负值。数据形态,圆形、异或、高斯、螺旋。数据配置,调整...
阅读(54) 评论(0)

Tensorflow实战学习(四十六)【TensoFlow开发环境,Mac,Ubuntu,Linux,Windows,CPU版本】

下载TensorFlow https://github.com/tensorflow/tensorflow/tree/v1.1.0 。Tags选择版本,下载解压。 pip安装。pip,Python包管理工具,PyPI(Python Packet Index) https://pypi.python.org/pypi 。 Mac环境。 安装virtualenv。virtualenv,Pytho...
阅读(74) 评论(0)

Tensorflow实战学习(四十五)【人工智能,深度学习,TensorFlow,比赛,公司】

TF.Contrib,开源社区贡献,新功能,内外部测试,根据反馈意见改进性能,改善API友好度,API稳定后,移到TensorFlow核心模块。生产代码,以最新官方教程和API指南参考。 统计分布。TF.contrib.ditributions模块,Bernoulli、Beta、Binomial、Gamma、Ecponential、Normal、Poisson、Uniform等统计分布,统计研究...
阅读(150) 评论(0)

Tensorflow实战学习(四十四)【TF.Contrib组件,统计分布,Layer,性能分析器tfprof】

TF.Contrib,开源社区贡献,新功能,内外部测试,根据反馈意见改进性能,改善API友好度,API稳定后,移到TensorFlow核心模块。生产代码,以最新官方教程和API指南参考。 统计分布。TF.contrib.ditributions模块,Bernoulli、Beta、Binomial、Gamma、Ecponential、Normal、Poisson、Uniform等统计分布,统计研究...
阅读(85) 评论(0)

Tensorflow实战学习(四十三)【TF.Learn 机器学习Estimator,DataFrame,监督器Monitors】

线性、逻辑回归。input_fn()建立简单两个特征列数据,用特证列API建立特征列。特征列传入LinearClassifier建立逻辑回归分类器,fit()、evaluate()函数,get_variable_names()得到所有模型变量名称。可以使用自定义优化函数,tf.train.FtrlOptimizer(),可以任意改动传到LinearClassifier。 随机森林。包含多个决策树...
阅读(72) 评论(0)

Tensorflow实战学习(四十二)【TF.Learn、分布式Estimator、深度学习Estimator】

TF.Learn,TensorFlow重要模块,各种类型深度学习及流行机器学习算法。TensorFlow官方Scikit Flow项目迁移,谷歌员工Illia Polosukhin、唐源发起。Scikit-learn代码风格,帮助数据科学从业者更好、更快适应接受TensorFlow代码。囊括许多TensorFlow代码、设计模式,用户更快搭建机器学习模型实现应用。避免大量代码重复,把精力放在搭建更精...
阅读(91) 评论(0)

Tensorflow实战学习(四十一)【分布式并行】

TensorFlow分布式并行基于gRPC通信框架,一个master负责创建Session,多个worker负责执行计算图任务。先创建TensorFlow Cluster对象,包含一组task(每个task一台独立机器),分布式执行TensorFlow计算图。一个Cluster切分多个job,一个job是一类特定任务(parameter server ps,worker),每个job可以包含多个ta...
阅读(102) 评论(0)

Tensorflow实战学习(四十)【多GPU并行】

TensorFlow并行,模型并行,数据并行。模型并行根据不同模型设计不同并行方式,模型不同计算节点放在不同硬伯上资源运算。数据并行,比较通用简便实现大规模并行方式,同时使用多个硬件资源计算不同batch数据梯度,汇总梯度全局参数更新。数据并行,多块GPU同时训练多个batch数据,运行在每块GPU模型基于同一神经网络,网络结构一样,共享模型参数。同步数据并行,所有GPU计算完batch数据梯度,统...
阅读(64) 评论(0)

Tensorflow实战学习(三十九)【TensorBoard】

首先向大家和《TensorFlow实战》的作者说句不好意思。我现在看的书是《TensorFlow实战》。但从TF024开始,我在学习笔记的参考资料里一直写的是《TensorFlow实践》,我自己粗心搞错了,希望不至于对大家造成太多误导。TensorBoard,TensorFlow官方可视化工具。展示模型训练过程各种汇总数据。标量(Scalars)、图片(Images)、音频(audio)、计算图(G...
阅读(75) 评论(0)

Tensorflow实战学习(三十八)【实现估值网络】

Q-Learning,学习Action对应期望值(Expected Utility)。1989年,Watkins提出。收敛性,1992年,Watkins和Dayan共同证明。学习期望价值,从当前一步到所有后续步骤,总期望获取最大价值(Q值、Value)。Action->Q函数,最佳策略,在每个state下,选择Q值最高的Action。不依赖环境模型。有限马尔科夫决策过程(Markov Dectisi...
阅读(79) 评论(0)

Tensorflow实战学习(三十七)【实现强化学习策略网络】

强化学习(Reinforcement Learing),机器学习重要分支,解决连续决策问题。强化学习问题三概念,环境状态(Environment State)、行动(Action)、奖励(Reward),目标获得最多累计奖励。强化学习模型根据环境状态、行动和奖励,学习出最佳策略,以最终结果为目标,不能只看某个行动当下带来的利益,还要看行动未来带来的价值。AutoEncoder属于无监督学习,MLP、...
阅读(293) 评论(0)

Tensorflow实战学习(三十六)【实现Bidirectional LSTM Classifier】

双向循环神经网络(Bidirectional Recurrent Neural Networks,Bi-RNN),Schuster、Paliwal,1997年首次提出,和LSTM同年。Bi-RNN,增加RNN可利用信息。普通MLP,数据长度有限制。RNN,可以处理不固定长度时序数据,无法利用历史输入未来信息。Bi-RNN,同时使用时序数据输入历史及未来数据,时序相反两个循环神经网络连接同一输出,输出...
阅读(89) 评论(0)

Tensorflow实战学习(三十五)【实现基于LSTM语言模型】

神经结构进步、GPU深度学习训练效率突破。RNN,时间序列数据有效,每个神经元通过内部组件保存输入信息。 卷积神经网络,图像分类,无法对视频每帧图像发生事情关联分析,无法利用前帧图像信息。RNN最大特点,神经元某些输出作为输入再次传输到神经元,可以利用之前信息。 xt是RNN输入,A是RNN节点,ht是输出。对RNN输入数据xt,网络计算得输出结果ht,某些信息(state,状态)传到网络输入...
阅读(74) 评论(0)

Tensorflow实战学习(三十四)【实现Word2Vec】

卷积神经网络发展趋势。Perceptron(感知机),1957年,Frank Resenblatt提出,始祖。Neocognitron(神经认知机),多层级神经网络,日本科学家Kunihiko fukushima,20世纪80年代提出,一定程度视觉认知功能,启发卷积神经网络。LeNet-5,CNN之父,Yann LeCun,1997年提出,首次多层级联卷积结构,手写数字有效识别。2012年,Hin...
阅读(136) 评论(0)

Tensorflow实战学习(三十三)【实现ResNet】

ResNet(Residual Neural Network),微软研究院 Kaiming He等4名华人提出。通过Residual Unit训练152层深神经网络,ILSVRC 2015比赛冠军,3.57% top-5错误率,参数量比VGGNet低,效果非常突出。ResNet结构,极快加速超深神经网络训练,模型准确率非常大提升。Inception V4,Inception Module、ResN...
阅读(230) 评论(0)

Tensorflow实战学习(三十二)【实现Google Inception Net】

Google Inception Net,ILSVRC 2014比赛第一名。控制计算量、参数量,分类性能非常好。V1,top-5错误率6.67%,22层,15亿次浮点运算,500万参数(AlexNet 6000万)。V1降低参数量目的,参数越多模型越庞大,需数据量越大,高质量数据昂贵;参数越多,耗费计算资源越大。模型层数更深,表达能力更强,去除最后全连接层,用全局平均池化层(图片尺寸变1x1),参数...
阅读(98) 评论(0)
56条 共3页1 2 3 下一页 尾页
    个人资料
    • 访问:1065134次
    • 积分:15788
    • 等级:
    • 排名:第717名
    • 原创:313篇
    • 转载:762篇
    • 译文:107篇
    • 评论:274条
    博客专栏
    文章分类
    打赏
    如果你觉得我的文章对您有用,请随意打赏。 微信 支付宝