vagrantabc2017的博客

原创 tensorflow: 如何使用矩阵

Refence:  《Tensorflow machine learning cookbook》 : Working with MatricesPackt.TensorFlow.Machine.Learning.Cookbook.2017 笔记# -*- coding:utf-8 -*-import tensorflow as tfi

原创 tensorflow: 如何使用占位符与变量

Refence:  《Tensorflow machine learning cookbook》 : Using Placeholders and VariablesPackt.TensorFlow.Machine.Learning.Cookbook.2017 笔记如何使用占位符与变量申明变量： tf.Variable(张量tensor)初始化变量：

原创 tensorflow: 如何定义常量tensor与变量tensor

Refence:  《Tensorflow machine learning cookbook》 : Declaring TensorsPackt.TensorFlow.Machine.Learning.Cookbook.2017 笔记主要应用领域：计算机视觉，语音识别，机器翻译，健康医疗流行的GPU架构：Nvidia Tesla and Pascal，4G RAM，

原创 基础概率公式汇总

原创 《GNU_Octave_Beginner_s_Guide》读书笔记4：Octave脚本

《GNU_Octave_Beginner_s_Guide》读书笔记4：Octave脚本在命令行中edit，进入Editor窗口。Editor有自己的菜单，保存的文件名后缀为m，是为了能在MatLib上跑。文件：script41.m内容如下：A=rand(3,5);min(min(A))在命令窗口中执行：>> script41ans =  0.25487完

原创 《GNU_Octave_Beginner_s_Guide》读书笔记3：函数与绘图

《GNU_Octave_Beginner_s_Guide》读书笔记2：函数与绘图函数：函数的通用形式：[output 1, output 2, ...] = function name(input 1, input 2, ...)数学函数辅助函数操作函数数学函数：cos(pi)  //pi是一个内置函数x = [0:pi/2:2*pi]  //生成一

原创 《GNU_Octave_Beginner_s_Guide》读书笔记2:变量与运算符

《GNU_Octave_Beginner_s_Guide》读书笔记2:变量与运算符变量一.简单数字变量：不明示的情况下，octave解释为实数，双精度浮点。 a=2变量名由字母，数字，下划线组成，不能以数字开头。>> 1_a=99parse error:  syntax error用下标访问元素，下标起始值为1.例：>> b=[1,9,3];b(2)

原创 《GNU_Octave_Beginner_s_Guide》读书笔记1: 环境设置

《GNU_Octave_Beginner_s_Guide》读书笔记1: 环境设置在win10上装了多个版本，最后确认GUI无法启动，在win7和winxp上都没有问题。安装发布包本身也说没测过win10.选择octave是因为matlab实在太大，且我也不想去到处找盗版。基于win7安装。GPL license.写这本书是在2011年，估计那时候版本是version 3.2

原创 MLAPP读书笔记(一)监督式学习与非监督式学习简介

MLAPP读书笔记(一)监督式学习与非监督式学习简介机器学习的类别一：预测/监督式学习{(x, y)}1.分类2.回归1)序数回归二:描述式/非监督式学习{x}特点：自行发现知识 三:增强学习 reinforcement learning RL通过奖励和惩罚来刺激学习在输入矩阵A中，每行是一个特征向量xi,表示一个样本。N x D，表示N

原创 深度网络的基础组件

网络架构的主要分类：1. 无监督网2. CNN3. 循环网：[LSTM]4. 递归网网络的主要组件：1. 参数：在不同的架构中，层的结构方式不同，影响参数。比如DBN中有两套连接。一套是RBM，用于抽取另一个网的特征。另一套是DBN，用RBM的输出去初始化网络。2. 分层可以通过改变激活函数的类型或子网类型来定制层。3. 激活函数输入层：不用激活

原创 激活函数、损失函数与超参数

激活函数：激活函数的特点：输入：标量，输出；标量很多激活函数如果画图，都是S形的，称为Sigmoid函数。常见的有6种：1.线性变换Linear：f(x) = Wx，用于输入层。直线。2.Sigmoid函数：可以减少极端值而不用移除它们。0-1之间的S形渐近线。把x的正负无穷转为y的0-1，大多数都在0或1附近。为每个类输出一个独立概率。人还是车？用sigmoid函

原创 反向传播学习算法

1969年被发明，但直到上世级八十年代才得到重视。通用的网络训练伪代码：function neural-network-learning( training-records ) returns networknetwork start loopfor each example in training-records donetwork-output = neural-net

原创 单层感知机与多层前馈神经网络

单层感知机：感知机是一个二元分类的线性模型。它采用海维赛德（Heaviside）阶跃函数作为激活函数。海维赛德阶跃函数： x为‘门限值，如0.5’，y=0，否则y=1. 程序说法是： x从神经元细胞借鉴的‘门限’和‘权重和’的概念是建模的关键。向量xw的点积--》海维赛德阶跃函数（作为激活函数）--》分类0，1XW+b, b为偏好。如果b为负，样本X一定，为使结果仍为0.5，要

原创 生物神经元工作原理。

神经网络NN：1.许多简单的单元并行工作，没有中心控制点。2.单元之间的权重是信息（知识）持久化的主要手段。3.更新权重是学习知识的手段。神经网络的行为是由网络架构所决定的，网络架构包括：1.神经元个数2.层数3.层与层之间的连接类型。前馈多层NN的最简单的NN。1层输入，多层隐藏层，1层输入。全连接，有向无环图。如果神经元足够多，它可以表示任何函数。用后向传播算法

原创 深度学习中的一些基本概念

欠拟合(Underfitting)与过拟合(Overfitting)欠拟合指预测值f(x)还没有接近真实值y。解决欠拟合是优先的。过拟合是指预测值与真实值匹配得太好，前面提到过，会有泛化的问题。解决这个问题往往需要更大的精力。对样本匹配得太好，对数据总体往往不是好事。参数优化parameter optimization:调整参数，使预测值越来越准。这个过程氷是参数优化。每一

原创 浅谈机器学习用来做什么，它是如何工作的

基本方程：Ax=b本质上讲，机器学习需要基于算法系统，通过‘优化’去让等式的误差达到最小。这里关注参数向量（权重）x的变化，直到找到一组适当的x值，使模型输出最接近真实输出。当损失函数计算结果后，x就再次调整，缩小损失，直到极值点。一个描述每个权重所带来的误差的误差矩阵会与权重矩阵本身相乘。SDG是最基本的优化算法。正则化和学习率属于模型的超参数，超参数的设置常常需要经验。

原创 深度学习统计学基础

统计基础：概率Probabilities分布Distributions似然Likelihood ，可能性，与概率是同义语。描述性统计技术：柱状图Histograms箱形图Boxplots散点图Scatterplots均值Mean标准差Standard deviation相关系统Correlation coefficient推断性统计技术：P值p-va

原创 深度学习线性代数基础

基于DL4J和ND4J API的学习代码：https://github.com/deeplearning4j/oreilly-book-dl4j-examples什么是机器学习？通过算法从原始数据中获取结构描述。结构描述的形式有哪些?包括：1.决策树（规则）2.线性回归（参数）3.神经网络（权重）什么是数据挖掘？从数据中抽取信息。关系：机器学习重

原创 tensorflow训练过程的日志与监控

Logging and Monitoring Basics with tf.contrib.learnhttps://www.tensorflow.org/get_started/monitors这篇文档的准备是 tf.estimator Quickstart，https://www.tensorflow.org/get_started/estimator对应的博客

原创 在tf.estimator中构建inpu_fn解读

在tf.estimator中构建inpu_fn解读https://www.tensorflow.org/get_started/input_fn上一篇，讲了classifier的train等方法都需要一个输入管道，本篇来学习下。input_fn方法是一类比较特殊的方法，它有一定的规定。函数名叫什么倒无所谓。一般来讲，访方法做两件事：1.数据预处理，如洗脏数据，归整数据等

原创 tf.estimator Quickstart解读

tf.estimator Quickstart解读https://www.tensorflow.org/get_started/estimator把代码拷下来，放到eclipse的环境中，并不能编译成功。主要改为两个地方：第一：升级了下tensorflow的版本，由1.2升到了1.3，tensorflow升级比较快。第二：import urllib改为 import u

原创 TensorFlow Mechanics 101解读

TensorFlow Mechanics 101解读https://www.tensorflow.org/get_started/mnist/mechanicsTensorFlow安装后自带教材，里面包括了8个python文件。init.pyfully_connected_feed.pyinput_data.pymnist_deep.pymnist_softma

原创 Deep MNIST for Experts解读（三）：deepnn源码分析与AdamOptimizer

Deep MNIST for Experts解读（三）：deepnn源码分析与AdamOptimizerhttps://www.tensorflow.org/get_started/mnist/prosmnist_deep.py上节讲了卷积与最大池化，本节来看看deepnn在概览中提到，deepnn分了如下几层：1.第一卷积层2.第二卷积层3.全联接层4.d

原创 Deep MNIST for Experts解读（二）：卷积与最大池化

Deep MNIST for Experts解读（二）：卷积与池化https://www.tensorflow.org/get_started/mnist/pros下面看看那三个遗留问题。1.卷积conv2dmax_pool_2x2Tensorflow提供了两个卷积函数，tf.nn.conv2d和tf.nn.conv3d，并不适合拿来直接演示说明基本概念。

原创 Deep MNIST for Experts解读（一）：概览

Deep MNIST for Experts解读（一）https://www.tensorflow.org/get_started/mnist/prosTensorflow依赖于后端的高度优化的C++库，为了与C++库交互，需要session。所以，Tensorflow的编程模式是先创建一个计算图，再交接session去计算。这与平常的编程模式不太一样，尤其在调试时感受比较

原创 阅读mnist_softmax.py的一些基础练习。

矩阵乘法：tf.matmul(A, B)或者 A@Bmatmul属于tensorflow\python\ops\math_ops.py模块。它是标准形式的矩阵乘法。代码：import tensorflow as tfimport numpy as npA = tf.Variable([[1., 2.],                 [3., 4.]])B = t

原创 MNIST初级入门解读

MNIST初级入门解读https://www.tensorflow.org/get_started/mnist/beginnershttp://yann.lecun.com/exdb/mnist/http://www.jianshu.com/p/84f72791806f机器学习的“Hello world!”程序就是MNIST。MNIST是一个简单的计算机视觉数据图片集，

原创 Tensorflow入门解读

参考：https://www.tensorflow.org/get_started/get_startedAPI分两类：TensorFlow Core：适合细粒度的控制模型。高层API：如 tf.contrib.learn，是对core的封装，更好用。但contrib目前不稳定。TensorFlow程序分两块：1）构造计算图 2）运行计算图计算图由节点和边组成，

原创 如何在window下搭建tensorflow开发环境

1.      安装python3.5系列，当前最新版本为3.5.3，设置python的path安装路径，以免在命令行下只能使用py -3，毕竟直接用python命令习惯些。如：C:\Users\hasee\AppData\Local\Programs\Python\Python35。再设置pip3的path路径，C:\Users\hasee\AppData\Local\Programs\Pyth

原创 tensorflow的matrix_solve是个什么鸟。

看注释是Solve Matrix system，解决矩阵系统，啥意思。看看源码解释吧。def matrix_solve(matrix, rhs, adjoint=None, name=None):  r"""Solves systems of linear equations.  `Matrix` is a tensor of shape `[..., M, M]` who

翻译 anaconda基本概念，常用命令，安装tensorflow，与eclipse集成

anaconda本质上是一个包管理器和环境管理器，支持了720多种开源包，支持python和R。如果不想要这些开源包，可以安装Niniconda通过 conda install PACKAGE自行安装想要的包。miniconda只需要3M，完整包大约400M。当前python3的版本是Anaconda3-4.4.0-Windows-x86_64.exe。主要包括numpy，scipy，Matplo