排序:
默认
按更新时间
按访问量

深度置信网络(二):玻尔兹曼机

HopField网络中,我们引入了网络能量的定义: E=−∑isibi−∑i<jsisjwijE=−∑isibi−∑i<jsisjwijE=-\sum_{i}s_ib_i-\sum_{...

2018-06-21 17:44:43

阅读数:14

评论数:0

深度置信网络(一):HopField网络

HopField 这里我们值分析离散型的HopField网络。HopFiled网络由循环相连的二值神经元组成,如下图: 图1: 图中每两个神经元间的连接都是双向的 每个节点iii都有一个二值状态值sisis_i,取值为0、1或则1、-1;所有神经元的状态值组合,称为HopField网络...

2018-06-21 15:09:29

阅读数:7

评论数:0

TensorFlow技术内幕(九):模型优化之分布式执行

随着模型和数据规模的不断增大,单机的计算资源已经无法满足算法的需求,本章分析一下TensorFlow内核中的对分布式执行支持。 GrpcSession 在第五章中,分析Graph的执行过程的时候,提到Graph的执行可以选择本地执行,对应的Session实现类是DirectSession,...

2018-06-19 17:10:00

阅读数:16

评论数:0

个人微信公众号

开通了微信公众号,以后的文章两个平台同步发布。 多谢支持,你们的鼓励是我坚持下去的动力!

2018-06-16 13:12:00

阅读数:9

评论数:0

TensorFlow技术内幕(八):模型优化之XLA(下)

上一章我们分析了XLA在TensofFlow中的两种调用方式AOT和JIT,本章分析XLA编译器的实现。 LLVM 提到编译器就不得不提大名鼎鼎的LLVM。LLVM是一个编译器框架,由C++语言编写而成,包括一系列分模块、可重用的编译工具。 LLVM框架的主要组成部分有: 前端:负责...

2018-06-15 11:41:52

阅读数:148

评论数:0

TensorFlow技术内幕(七):模型优化之XLA(上)

本章中我们分析一下TensorFlow的XLA(Accelerated Linear Algebra 加速线性代数)的内核实现。代码位置在tensorflow/compiler. XLA 在XLA技术之前,TensorFlow中计算图的执行是由runtime(运行时)代码驱动的:runti...

2018-06-13 14:53:49

阅读数:89

评论数:0

TensorFlow技术内幕(六):模型优化之Grappler

本章中分析TensorFlow的Grappler模块的实现。 Grappler Grappler是TensorFlow的优化模块。模块中的主要包括这些类: 图1:Grappler模块主要类 tensorflow.grappler.GrapplerItem表示待优化的TensforF...

2018-06-08 13:29:26

阅读数:127

评论数:0

TensorFlow技术内幕(五):核心概念的实现分析

本章中分析tf的核心概念在内核中的实现。 Tensor(张量) Tensor是tf对数据的抽象,具有一定的维度、数据类型和数据内容。 图1:TF_Tensor 图1是C API中对Tensor的封装,Tensor的纬度、数据类型、数据内容都有对应的成员表示。数据内容存放在Tenso...

2018-06-06 17:58:16

阅读数:61

评论数:0

TensorFlow技术内幕(四):TF中的混合编程

本章的主题是TF中的混合编程,以Python与C/C++混合编程为例. 按进度来说,现在应该写点TF使用教程,让大家熟悉一下tensorflow的使用,但是我发现现在这方面的资料和书籍已经很多了,这里就不再赘述了,毕竟时间有限,留给更有意义的事情。 做到熟悉TF使用的最好的方式就是动手实践具体...

2018-06-01 17:25:20

阅读数:84

评论数:0

TensorFlow技术内幕(三):源码结构

本章讲解TensorFlow的源码结构。 下面的内容我们一TF1.0的代码为例,介绍TF的源码结构,如果是其他版本,则结构可能会略有差异。 根目录结构 首先整体看一下整体的目录结构: 图1:TF根目录 然后了解一下每个目录的功能: 目录 功能 tenso...

2018-06-01 17:20:10

阅读数:57

评论数:0

TensorFlow技术内幕(二):编译与安装

本篇中介绍一下TensorFlow的安装。TensorFlow的安装分为安装包安装和编译安装. 一般的用户使用安装包安装就可以了,并且安装包的方式简单方便,具体又分为基于pip安装、基于docker安装、基于VirtualEnv的安装和基于Anaconda的安装,基本的过程都是先准备好Pytho...

2018-05-29 17:11:06

阅读数:74

评论数:0

TensorFlow技术内幕(一):导论

本篇中我将介绍tensorflow的设计。 简单历史回顾 2015.11 tensorflow在github上首次开源 2017.1 发布1.0版本 官网地址:www.tensorflow.org github地址:github.com/tensorflow/tensorf...

2018-05-25 13:59:55

阅读数:71

评论数:0

聚类分析(二):图团体检测

接着上篇介绍聚类算法,本篇介绍图团体检测算法。 图团体检测 当我们的样本以及样本之间的关系可以被表示为一个网络或图(graph)时,可能存在这样的需求:我们想找出来网络中联系比较”紧密”的样本。举个例子,在社交网站中,用户以及用户之间的好友关系可以表示成下面的无向图,图中的顶点表示每个用户,顶...

2018-04-26 15:38:53

阅读数:225

评论数:0

聚类分析(一):K均值聚类与层次聚类

介绍三类聚类分析算法,本篇介绍K均值聚类、层次聚类,下篇介绍图团体(graph community)聚类。 聚类分析又称群分析,它是研究样本分类问题的一种统计分析方法,同时也是数据挖掘的一个重要算法。聚类分析以相似性为基础,在一个聚类(cluster)中的样本模式之间比不在同一聚类中的样本模式之...

2018-04-25 18:28:48

阅读数:88

评论数:0

神经网络与深度学习(六):通往深度学习

上一章中,我们学习到深度网络比浅层网络难以训练。这很可惜,因为我们有充分的理由相信,如果我们可以训练深度网络,它将比浅层网络强大很多。虽然上一章的消息很令人沮丧,但是我们不会放弃。本章中,我们来看看一些可以训练深度网络的技术。我们还将看看更广阔的画面,看看深度网络最近取得的进展,在图像识别,语音识...

2018-04-19 11:41:35

阅读数:278

评论数:0

神经网络与深度学习(五):深度网络训练难点

想象一下你是一位工程师,需要从头开始设计一台电脑。有一天你正在办公室里设计你的逻辑电路,设置AND门,OR门,等等,然后你的老板进来了,带来一个坏消息:客户加了一个不可思议的需求,就是整个电脑的设计必须只包含两层,如下图: 你彻底傻了,跟老板抱怨:客户疯了吧。 老板说:我也觉得他们疯了,但...

2018-04-19 11:34:57

阅读数:84

评论数:0

神经网络与深度学习(三):如何提升神经网络学习效果

一个高尔夫球手练习高尔夫球时会花绝大多数时间练习基本的挥杆动作。在基本的挥杆动作的基础上,逐渐的才会练习其他动作。相似的,目前为止我们一直专注在理解BP算法, 它是我们的基础”挥杆”动作,学习神经网络的基础。这章中我会解释一些用来提升BP算法的技术,以提高神经网络的学习。 本章介绍的技术包括:1...

2018-04-19 11:23:50

阅读数:602

评论数:0

神经网络与深度学习(二):BP算法

上一章中我们学习了神经网络怎么通过梯度下降算法学习权重和偏移的。但是我们的讨论中缺了一块:我们没有讨论如何去计算损失函数的梯度。本章中,我将介绍一个计算梯度的快速算法:逆向传播算法(backpropagation)。 BP算法在1970年代首次被提出,但是直到David Rumelhart, G...

2018-04-19 10:59:48

阅读数:52

评论数:0

神经网络与深度学习(一):神经网络与数字识别

人类视觉系统是比较神奇的存在之一。考虑下面的数字手写体: 大部分人可以毫不费力的识别出这些数字:504192。其实这个识别的过程并没有想象的那么简单容易。人类大脑的两个半球,各有一个主要的视觉皮层,被称为V1,包含1400万神经元,百亿级别的的神经链接。并且人类的视觉处理不仅V1参与,整个一...

2018-04-19 10:52:41

阅读数:81

评论数:0

研发管理的一点心得

几个项目下来,略有心得,写出来大家讨论讨论 1,做好计划比完成自己的工作更重要。 2,定点检查任务是否完成,以及完成的质量。帮助队员完成工作,和提高工作质量。 3,依赖团队完成任务:思考的角度从如何提高个人产出,转化成如何提高团队的产出。 4,反思过程,过程优化和提高。 5,...

2014-07-17 17:29:23

阅读数:420

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭