- 博客(31)
- 收藏
- 关注
原创 tensorflow: 如何使用矩阵
Refence: 《Tensorflow machine learning cookbook》 : Working with MatricesPackt.TensorFlow.Machine.Learning.Cookbook.2017 笔记# -*- coding:utf-8 -*-import tensorflow as tfi
2017-09-22 17:47:05
1828
原创 tensorflow: 如何使用占位符与变量
Refence: 《Tensorflow machine learning cookbook》 : Using Placeholders and VariablesPackt.TensorFlow.Machine.Learning.Cookbook.2017 笔记如何使用占位符与变量申明变量: tf.Variable(张量tensor)初始化变量:
2017-09-22 16:02:02
4675
1
原创 tensorflow: 如何定义常量tensor与变量tensor
Refence: 《Tensorflow machine learning cookbook》 : Declaring TensorsPackt.TensorFlow.Machine.Learning.Cookbook.2017 笔记主要应用领域:计算机视觉,语音识别,机器翻译,健康医疗流行的GPU架构:Nvidia Tesla and Pascal,4G RAM,
2017-09-22 13:57:20
13198
1
原创 《GNU_Octave_Beginner_s_Guide》读书笔记4:Octave脚本
《GNU_Octave_Beginner_s_Guide》读书笔记4:Octave脚本在命令行中edit,进入Editor窗口。Editor有自己的菜单,保存的文件名后缀为m,是为了能在MatLib上跑。文件:script41.m内容如下:A=rand(3,5);min(min(A))在命令窗口中执行:>> script41ans = 0.25487完
2017-09-08 09:42:46
1546
原创 《GNU_Octave_Beginner_s_Guide》读书笔记3:函数与绘图
《GNU_Octave_Beginner_s_Guide》读书笔记2:函数与绘图函数:函数的通用形式:[output 1, output 2, ...] = function name(input 1, input 2, ...)数学函数辅助函数操作函数数学函数:cos(pi) //pi是一个内置函数x = [0:pi/2:2*pi] //生成一
2017-09-07 16:00:32
803
原创 《GNU_Octave_Beginner_s_Guide》读书笔记2:变量与运算符
《GNU_Octave_Beginner_s_Guide》读书笔记2:变量与运算符变量一.简单数字变量:不明示的情况下,octave解释为实数,双精度浮点。 a=2变量名由字母,数字,下划线组成,不能以数字开头。>> 1_a=99parse error: syntax error用下标访问元素,下标起始值为1.例:>> b=[1,9,3];b(2)
2017-09-05 18:17:01
581
原创 《GNU_Octave_Beginner_s_Guide》读书笔记1: 环境设置
《GNU_Octave_Beginner_s_Guide》读书笔记1: 环境设置在win10上装了多个版本,最后确认GUI无法启动,在win7和winxp上都没有问题。安装发布包本身也说没测过win10.选择octave是因为matlab实在太大,且我也不想去到处找盗版。基于win7安装。GPL license.写这本书是在2011年,估计那时候版本是version 3.2
2017-09-04 14:35:06
1307
原创 MLAPP读书笔记(一)监督式学习与非监督式学习简介
MLAPP读书笔记(一)监督式学习与非监督式学习简介机器学习的类别一:预测/监督式学习{(x, y)}1.分类2.回归1)序数回归二:描述式/非监督式学习{x}特点:自行发现知识 三:增强学习 reinforcement learning RL通过奖励和惩罚来刺激学习在输入矩阵A中,每行是一个特征向量xi,表示一个样本。N x D,表示N
2017-09-01 18:07:12
722
原创 深度网络的基础组件
网络架构的主要分类:1. 无监督网2. CNN3. 循环网:[LSTM]4. 递归网网络的主要组件:1. 参数:在不同的架构中,层的结构方式不同,影响参数。比如DBN中有两套连接。一套是RBM,用于抽取另一个网的特征。另一套是DBN,用RBM的输出去初始化网络。2. 分层可以通过改变激活函数的类型或子网类型来定制层。3. 激活函数输入层:不用激活
2017-08-31 18:21:41
307
原创 激活函数、损失函数与超参数
激活函数:激活函数的特点:输入:标量,输出;标量很多激活函数如果画图,都是S形的,称为Sigmoid函数。常见的有6种:1.线性变换Linear:f(x) = Wx,用于输入层。直线。2.Sigmoid函数:可以减少极端值而不用移除它们。0-1之间的S形渐近线。把x的正负无穷转为y的0-1,大多数都在0或1附近。为每个类输出一个独立概率。人还是车?用sigmoid函
2017-08-31 14:10:11
3874
原创 反向传播学习算法
1969年被发明,但直到上世级八十年代才得到重视。通用的网络训练伪代码:function neural-network-learning( training-records ) returns networknetwork start loopfor each example in training-records donetwork-output = neural-net
2017-08-30 17:43:59
875
原创 单层感知机与多层前馈神经网络
单层感知机:感知机是一个二元分类的线性模型。它采用海维赛德(Heaviside)阶跃函数作为激活函数。海维赛德阶跃函数: x为‘门限值,如0.5’,y=0,否则y=1. 程序说法是: x从神经元细胞借鉴的‘门限’和‘权重和’的概念是建模的关键。向量xw的点积--》海维赛德阶跃函数(作为激活函数)--》分类0,1XW+b, b为偏好。如果b为负,样本X一定,为使结果仍为0.5,要
2017-08-30 13:31:11
3604
原创 生物神经元工作原理。
神经网络NN:1.许多简单的单元并行工作,没有中心控制点。2.单元之间的权重是信息(知识)持久化的主要手段。3.更新权重是学习知识的手段。神经网络的行为是由网络架构所决定的,网络架构包括:1.神经元个数2.层数3.层与层之间的连接类型。前馈多层NN的最简单的NN。1层输入,多层隐藏层,1层输入。全连接,有向无环图。如果神经元足够多,它可以表示任何函数。用后向传播算法
2017-08-29 18:05:51
7754
原创 深度学习中的一些基本概念
欠拟合(Underfitting)与过拟合(Overfitting)欠拟合指预测值f(x)还没有接近真实值y。解决欠拟合是优先的。过拟合是指预测值与真实值匹配得太好,前面提到过,会有泛化的问题。解决这个问题往往需要更大的精力。对样本匹配得太好,对数据总体往往不是好事。参数优化parameter optimization:调整参数,使预测值越来越准。这个过程氷是参数优化。每一
2017-08-28 15:51:04
664
原创 浅谈机器学习用来做什么,它是如何工作的
基本方程:Ax=b本质上讲,机器学习需要基于算法系统,通过‘优化’去让等式的误差达到最小。这里关注参数向量(权重)x的变化,直到找到一组适当的x值,使模型输出最接近真实输出。当损失函数计算结果后,x就再次调整,缩小损失,直到极值点。一个描述每个权重所带来的误差的误差矩阵会与权重矩阵本身相乘。SDG是最基本的优化算法。正则化和学习率属于模型的超参数,超参数的设置常常需要经验。
2017-08-25 17:39:08
2639
1
原创 深度学习统计学基础
统计基础:概率Probabilities分布Distributions似然Likelihood ,可能性,与概率是同义语。描述性统计技术:柱状图Histograms箱形图Boxplots散点图Scatterplots均值Mean标准差Standard deviation相关系统Correlation coefficient推断性统计技术:P值p-va
2017-08-24 18:20:37
999
原创 深度学习线性代数基础
基于DL4J和ND4J API的学习代码:https://github.com/deeplearning4j/oreilly-book-dl4j-examples什么是机器学习?通过算法从原始数据中获取结构描述。结构描述的形式有哪些?包括:1.决策树(规则)2.线性回归(参数)3.神经网络(权重)什么是数据挖掘?从数据中抽取信息。关系:机器学习重
2017-08-24 15:33:59
1013
原创 tensorflow训练过程的日志与监控
Logging and Monitoring Basics with tf.contrib.learnhttps://www.tensorflow.org/get_started/monitors这篇文档的准备是 tf.estimator Quickstart,https://www.tensorflow.org/get_started/estimator对应的博客
2017-08-23 15:59:42
24463
1
原创 在tf.estimator中构建inpu_fn解读
在tf.estimator中构建inpu_fn解读https://www.tensorflow.org/get_started/input_fn上一篇,讲了classifier的train等方法都需要一个输入管道,本篇来学习下。input_fn方法是一类比较特殊的方法,它有一定的规定。函数名叫什么倒无所谓。一般来讲,访方法做两件事:1.数据预处理,如洗脏数据,归整数据等
2017-08-22 17:17:39
8788
1
原创 tf.estimator Quickstart解读
tf.estimator Quickstart解读https://www.tensorflow.org/get_started/estimator把代码拷下来,放到eclipse的环境中,并不能编译成功。主要改为两个地方:第一:升级了下tensorflow的版本,由1.2升到了1.3,tensorflow升级比较快。第二:import urllib改为 import u
2017-08-22 14:18:48
8556
原创 TensorFlow Mechanics 101解读
TensorFlow Mechanics 101解读https://www.tensorflow.org/get_started/mnist/mechanicsTensorFlow安装后自带教材,里面包括了8个python文件。init.pyfully_connected_feed.pyinput_data.pymnist_deep.pymnist_softma
2017-08-21 18:02:00
383
原创 Deep MNIST for Experts解读(三):deepnn源码分析与AdamOptimizer
Deep MNIST for Experts解读(三):deepnn源码分析与AdamOptimizerhttps://www.tensorflow.org/get_started/mnist/prosmnist_deep.py上节讲了卷积与最大池化,本节来看看deepnn在概览中提到,deepnn分了如下几层:1.第一卷积层2.第二卷积层3.全联接层4.d
2017-08-15 16:45:45
1231
原创 Deep MNIST for Experts解读(二):卷积与最大池化
Deep MNIST for Experts解读(二):卷积与池化https://www.tensorflow.org/get_started/mnist/pros下面看看那三个遗留问题。1.卷积conv2dmax_pool_2x2Tensorflow提供了两个卷积函数,tf.nn.conv2d和tf.nn.conv3d,并不适合拿来直接演示说明基本概念。
2017-08-15 13:23:38
2010
原创 Deep MNIST for Experts解读(一):概览
Deep MNIST for Experts解读(一)https://www.tensorflow.org/get_started/mnist/prosTensorflow依赖于后端的高度优化的C++库,为了与C++库交互,需要session。所以,Tensorflow的编程模式是先创建一个计算图,再交接session去计算。这与平常的编程模式不太一样,尤其在调试时感受比较
2017-08-14 16:04:48
842
原创 阅读mnist_softmax.py的一些基础练习。
矩阵乘法:tf.matmul(A, B)或者 A@Bmatmul属于tensorflow\python\ops\math_ops.py模块。它是标准形式的矩阵乘法。代码:import tensorflow as tfimport numpy as npA = tf.Variable([[1., 2.], [3., 4.]])B = t
2017-08-11 18:08:46
862
原创 MNIST初级入门解读
MNIST初级入门解读https://www.tensorflow.org/get_started/mnist/beginnershttp://yann.lecun.com/exdb/mnist/http://www.jianshu.com/p/84f72791806f机器学习的“Hello world!”程序就是MNIST。MNIST是一个简单的计算机视觉数据图片集,
2017-08-10 17:14:15
793
原创 Tensorflow入门解读
参考:https://www.tensorflow.org/get_started/get_startedAPI分两类:TensorFlow Core:适合细粒度的控制模型。高层API:如 tf.contrib.learn,是对core的封装,更好用。但contrib目前不稳定。TensorFlow程序分两块:1)构造计算图 2)运行计算图计算图由节点和边组成,
2017-08-09 16:52:25
555
原创 如何在window下搭建tensorflow开发环境
1. 安装python3.5系列,当前最新版本为3.5.3,设置python的path安装路径,以免在命令行下只能使用py -3,毕竟直接用python命令习惯些。如:C:\Users\hasee\AppData\Local\Programs\Python\Python35。再设置pip3的path路径,C:\Users\hasee\AppData\Local\Programs\Pyth
2017-08-08 09:33:41
552
原创 tensorflow的matrix_solve是个什么鸟。
看注释是Solve Matrix system,解决矩阵系统,啥意思。看看源码解释吧。def matrix_solve(matrix, rhs, adjoint=None, name=None): r"""Solves systems of linear equations. `Matrix` is a tensor of shape `[..., M, M]` who
2017-08-08 09:01:47
2814
翻译 anaconda基本概念,常用命令,安装tensorflow,与eclipse集成
anaconda本质上是一个包管理器和环境管理器,支持了720多种开源包,支持python和R。如果不想要这些开源包,可以安装Niniconda通过 conda install PACKAGE自行安装想要的包。miniconda只需要3M,完整包大约400M。当前python3的版本是Anaconda3-4.4.0-Windows-x86_64.exe。主要包括numpy,scipy,Matplo
2017-08-04 18:01:37
2509
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人