排序:
默认
按更新时间
按访问量

特征工程(一)

##总览 特征工程的目标是最大限度地从原始数据中提取好的特征以供算法和模型使用, 做好特征工程需要专业领域知识、直觉以及数学能力,能够使简单的模型达到很好的效果。 对数据的所有的特征进行学习并不能很好的提高算法的表现,而且无用的特征会增加算法运算的复杂度,因为特征中有噪音、有冗余。 所以,特征工程...

2018-09-20 17:12:24

阅读数:39

评论数:0

概率模型(二):高斯混合模型GMM

本文介绍GMM算法,也就是高斯混合模型,或则更准确的说,应该称为高斯线性混合模型。 高斯分布 又称为正太分布,常态分布,是自然界大量存在的、最为常见的分布。例如人类和动物的身高,体重,测量误差等等。正太分布的概率密度函数如下: f(x)=12σ2π‾‾‾‾‾√e−...

2018-08-24 13:04:45

阅读数:101

评论数:0

概率模型(一):极大似然估计与EM算法

最大似然估计 对于随机事件,在确定了概率模型,但是不确定模型参数的时候,可以用最大似然估计法来估计模型的参数。 比如,对于离散型随机事件,已知事件的概率分布函数为P(x;θ)P(x;θ)P(x;\theta)(分号左边是随机变量,分号右边是模型的参数,这个符号的意思是随机变量x的概率分布函数是...

2018-08-09 14:38:58

阅读数:80

评论数:0

Boosted Tree

Definition: yˆ=∑k=1Kfk(x)y^=∑k=1Kfk(x)\widehat y=\sum_{k=1}^{K}f_k(x) In which fk(x)fk(x)f_k(x) is one of K regression trees. Loss: Loss=∑i=...

2018-08-03 18:12:00

阅读数:58

评论数:0

TensorFlow技术内幕(十二):Estimator(上)

本章分析TensorFlow的高层模块Estimator. TF的高层模块Estimator是采用Python语言开发的,在分析此模块之前先普及一下Python语法,本文不准备作为Python的入门教程,所以只列举几个TF中广泛使用但又不是很好理解的Python语法。 Python ...

2018-08-01 17:44:43

阅读数:115

评论数:0

TensorFlow技术内幕(十一):模型优化之量化(Quantize)

背景 Neural Network模型一般都会占用很大的磁盘空间,比如AlexNet的模型文件就超过了200 MB.模型包含了数百万的参数,绝大部分的空间都用来存储这些模型的参数了。这些参数是浮点数类型的,普通的压缩算法很难压缩它们的空间。 一般模型的内部的计算都采用了浮点数计算,浮点数的计算...

2018-07-24 16:18:47

阅读数:607

评论数:0

TensorFlow技术内幕(十):梯度的计算

梯度的计算是频繁的任务。在所有的的learning algorithm里几乎都用到了梯度。可以参考这片训练算法总结。本文中我具体介绍各式各样的训来拿算法,而把焦点聚焦在梯度计算这个子任务上。 梯度的定义 对于一个Rn→RRn→RR^n \rightarrow R的函数: f(x1,x2,....

2018-07-23 17:48:03

阅读数:146

评论数:0

Learning Algorithm Summary

Target wˆ=argminw∑i=1nL(w,zi),||w||1≤sw^=argminw∑i=1nL(w,zi),||w||1≤s\widehat{w}=argmin_w\sum_{i=1}^{n}L(w, z_i), ||w||_1 \le s wˆ=argminw∑i=1nL...

2018-07-21 17:25:26

阅读数:64

评论数:0

深度置信网络(二):玻尔兹曼机

HopField网络中,我们引入了网络能量的定义: E=−∑isibi−∑i<jsisjwijE=−∑isibi−∑i<jsisjwijE=-\sum_{i}s_ib_...

2018-06-21 17:44:43

阅读数:57

评论数:0

深度置信网络(一):HopField网络

HopField 这里我们值分析离散型的HopField网络。HopFiled网络由循环相连的二值神经元组成,如下图: 图1: 图中每两个神经元间的连接都是双向的 每个节点iii都有一个二值状态值sisis_i,取值为0、1或则1、-1;所有神经元的状态值组合,称为HopField网络...

2018-06-21 15:09:29

阅读数:126

评论数:0

TensorFlow技术内幕(九):模型优化之分布式执行

随着模型和数据规模的不断增大,单机的计算资源已经无法满足算法的需求,本章分析一下TensorFlow内核中的对分布式执行支持。 GrpcSession 在第五章中,分析Graph的执行过程的时候,提到Graph的执行可以选择本地执行,对应的Session实现类是DirectSession,...

2018-06-19 17:10:00

阅读数:98

评论数:0

个人微信公众号

开通了微信公众号,以后的文章两个平台同步发布。 多谢支持,你们的鼓励是我坚持下去的动力!

2018-06-16 13:12:00

阅读数:50

评论数:0

TensorFlow技术内幕(八):模型优化之XLA(下)

上一章我们分析了XLA在TensofFlow中的两种调用方式AOT和JIT,本章分析XLA编译器的实现。 LLVM 提到编译器就不得不提大名鼎鼎的LLVM。LLVM是一个编译器框架,由C++语言编写而成,包括一系列分模块、可重用的编译工具。 LLVM框架的主要组成部分有: 前端:负责...

2018-06-15 11:41:52

阅读数:565

评论数:0

TensorFlow技术内幕(七):模型优化之XLA(上)

本章中我们分析一下TensorFlow的XLA(Accelerated Linear Algebra 加速线性代数)的内核实现。代码位置在tensorflow/compiler. XLA 在XLA技术之前,TensorFlow中计算图的执行是由runtime(运行时)代码驱动的:runti...

2018-06-13 14:53:49

阅读数:820

评论数:3

TensorFlow技术内幕(六):模型优化之Grappler

本章中分析TensorFlow的Grappler模块的实现。 Grappler Grappler是TensorFlow的优化模块。模块中的主要包括这些类: 图1:Grappler模块主要类 tensorflow.grappler.GrapplerItem表示待优化的TensforF...

2018-06-08 13:29:26

阅读数:546

评论数:0

TensorFlow技术内幕(五):核心概念的实现分析

本章中分析tf的核心概念在内核中的实现。 Tensor(张量) Tensor是tf对数据的抽象,具有一定的维度、数据类型和数据内容。 图1:TF_Tensor 图1是C API中对Tensor的封装,Tensor的纬度、数据类型、数据内容都有对应的成员表示。数据内容存放在Tenso...

2018-06-06 17:58:16

阅读数:370

评论数:0

TensorFlow技术内幕(四):TF中的混合编程

本章的主题是TF中的混合编程,以Python与C/C++混合编程为例. 按进度来说,现在应该写点TF使用教程,让大家熟悉一下tensorflow的使用,但是我发现现在这方面的资料和书籍已经很多了,这里就不再赘述了,毕竟时间有限,留给更有意义的事情。 做到熟悉TF使用的最好的方式就是动手实践具体...

2018-06-01 17:25:20

阅读数:463

评论数:0

TensorFlow技术内幕(三):源码结构

本章讲解TensorFlow的源码结构。 下面的内容我们一TF1.0的代码为例,介绍TF的源码结构,如果是其他版本,则结构可能会略有差异。 根目录结构 首先整体看一下整体的目录结构: 图1:TF根目录 然后了解一下每个目录的功能: 目录 功能 tenso...

2018-06-01 17:20:10

阅读数:337

评论数:0

TensorFlow技术内幕(二):编译与安装

本篇中介绍一下TensorFlow的安装。TensorFlow的安装分为安装包安装和编译安装. 一般的用户使用安装包安装就可以了,并且安装包的方式简单方便,具体又分为基于pip安装、基于docker安装、基于VirtualEnv的安装和基于Anaconda的安装,基本的过程都是先准备好Pytho...

2018-05-29 17:11:06

阅读数:225

评论数:0

TensorFlow技术内幕(一):导论

本篇中我将介绍tensorflow的设计。 简单历史回顾 2015.11 tensorflow在github上首次开源 2017.1 发布1.0版本 官网地址:www.tensorflow.org github地址:github.com/tensorflow/tensorf...

2018-05-25 13:59:55

阅读数:239

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭