深度学习
R3
我是一名学生,希望与大家相互交流
展开
-
深度学习笔记——理论与推导之Structured Learning【Structured Linear Model】(六)
Structured LearningSturctured Learning 引入定义: 输入X,输出Y 都是有结构的对象(objects with structures)Object:例如sequence,list,tree,bounding box等函数:原创 2017-08-10 11:44:24 · 3969 阅读 · 0 评论 -
深度学习笔记——理论与推导之RNN的训练过程BPTT(五)
Training RNN——BPTT 由于RNN和时间序列有关,因此我们不能通过Backpropagation来调参,我们使用的是Backpropagation through time(BPTT)回顾Backpropagation Backpropagation through Time(BPTT)我们可以将RNN变成如下形式: 参照之前的BP我们发现,反向传播原创 2017-08-10 11:43:39 · 4348 阅读 · 3 评论 -
深度学习笔记——理论与推导之DNN(三)
DNN目录激励函数(ReLU以及ReLU的变形,梯度消失问题)成本函数 数据处理优化一般化激励函数:Rectified Linear Unit(ReLU)选择Relu的原因: 计算速度快生物原因类似于具有不同偏差的无限个sigmoid可以解决梯度消失问题sigmoid的问题(梯度消失问题): sigmoid function的微分函数是蓝色原创 2017-08-10 11:43:02 · 1222 阅读 · 0 评论 -
深度学习笔记——理论与推导之Backpropagation(二)
Backpropagation(反向传播):背景——Cost Function与Gradient DescentCost Function: Gradient Descent: backpropagation是一种高效计算网络中gradient的方法对权重wij求偏导由于C的变化与z有关,z的变化与w有关,因此,需要分为如下两部分求解: z对w求偏导: z对原创 2017-08-10 11:42:22 · 1842 阅读 · 3 评论 -
深度学习笔记——理论与推导之概念,成本函数与梯度下降算法初识(一)
一、机器学习介绍 1. 概念:Learning ≈ Looking for a Function 2. 框架(Framework): 3. What is Deep Learning? - 比起过去的语音识别技术,DeepLearning的所有function都是从数据中进行学习的。 - 深度学习通常指基于神经网络的方法。 二、只有一个神经元的机器学习:原创 2017-08-10 11:41:56 · 4923 阅读 · 0 评论 -
TensorFlow代码实现(一)[MNIST手写数字识别]
最简单的神经网络结构:数据源准备:数据在之前的文章中分析过了在这里我们就构造一层神经网络: 前提准备: 参数: train images:因为图片是28*28的个数,换算成一维数组就是784,因此我们定义x = tf.placeholder(tf.float32,[None,784])train labels:因为图片最终要输出10个分类,所以我们定义为y_ = tf.placehold原创 2017-07-10 14:34:17 · 14520 阅读 · 4 评论 -
TensorFlow代码实现(二)[实现异或门(XOR)]
第一个实验:用神经网络实现异或门 测试数据如下: [0,0]->[0] [1,0]->[1] [1,1]->[0] [0,1]->[1] 数据量很小,但异或门远没有我想象的好写,原来在第一层的时候我使用的激活函数是relu,第一层有两个神经元;输出层使用的激活函数是softmax;学习率是0.01;loss function选的是梯度下降算法,weights和biases都是随机产生的非原创 2017-07-14 17:32:42 · 4727 阅读 · 2 评论 -
深度学习笔记——深度学习框架TensorFlow(十一)
看了一段时间的官网,对TensorFlow有了一定了解,但还不会通过TensorFlow搭神经网络框架,准备周末做一个总结。 找了一个TensorFlow教程集合,准备开始看看。 简要的做一些笔记。TensorFlow的一些易用工具: 如果不想研究tensorflow的API,只是想快速实现什么,那么可以使用其他高层工具,比如:tf.contrib.learn,tf.contr转载 2017-07-10 11:27:34 · 826 阅读 · 0 评论 -
深度学习笔记——理论与推导之Structured Learning【Structured SVM】(七)
Separable case1. 定义:2. 用来计算weight的Structured Perceptron演算法:如果我们能找到一个满足上图的feature function,那么我们就可以用Structured Perceptron演算法找到我们所要的weight(这些在深度学习笔记——理论与推导之Structured Learning【Structured Lin原创 2017-08-10 11:44:48 · 3735 阅读 · 0 评论 -
深度学习笔记——理论与推导之Structured Learning【Sequence Labeling Problem】(八)
Sequence Labeling(序列标注问题),可以用RNN解决,也可以用Structured Learning(two steps,three problems)解决 常见问题: - POS tagging(标记句子中每个词的词性): 如:John saw the saw–>PN V D NHidden Markov Model(HMM)问题引入生成一个原创 2017-08-10 11:45:00 · 3398 阅读 · 0 评论 -
【Tensorflow】防止过拟合之正则化
Referencehttps://stackoverflow.com/questions/41841050/tensorflow-adding-regularization-to-lstm?noredirect=1&lq=1https://blog.csdn.net/huqinweI987/article/details/82957034防止过拟合之正则化原理1. L2正则化原理...转载 2019-04-29 16:50:21 · 1128 阅读 · 1 评论 -
LSTM神经元中参数个数
LSTM的神经元个数1. LSTM简单介绍上图中间位置就是一个LSTM cell,红框框从左到右,依次是:忘记门层: 决定从细胞状态中丢弃什么信息,通过当前时刻输入(xtx_{t}xt)和前一个时刻输出(ht−1h_{t-1}ht−1)决定。细胞状态: 确定并更新新消息到当前时刻的细胞状态中。输出门层: 基于目前的细胞状态决定该时刻的输出。2. 简单假设样例假设现有一个样本,S...转载 2019-04-23 17:03:30 · 6949 阅读 · 2 评论 -
深度学习笔记——理论与推导之Neural Network的记忆力(四)
Neural Network with Memory 记忆力的重要性:如进位这个问题,你可以设计如下模型来实现这个记忆力: 如上图所示,左边的神经元是将两个数字相加后,如果大于10则输出1,反之输出0,输出后存在Memory cell里一份,然后将值乘以-10做为红色神经元的输入;右边的神经元则是将输入相加,相加后做为红色神经元的输入,红色神经元则是将左右两个输入相加。如,现在传入原创 2017-08-10 11:43:20 · 734 阅读 · 0 评论 -
深度学习笔记——理论与推导之Structured Learning【NLP】(十二)
Language TechnologyMeaning of Word(一个vector表示一个word)Predicting the next word给一串sequence of words,预测下一个单词 我们现在要做的就是将wi-1和wi-2描述成一个feature vector,1- of -N encoding: 假设只要对着几个词汇做word2vec:lexicon = {apple,原创 2017-08-15 11:43:33 · 752 阅读 · 0 评论 -
深度学习笔记——理论与推导之Structured Learning【Markov Logic Network】(十一)
Markov Logic NetworkGraphical Model是Structured Learning里一种用Graph描述evaluation的方式。Graphical Model有很多中,比如深度学习笔记——理论与推导之Structured Learning【Markov Random Field】(十)中的Factor Graph和MRF都是属于Undirected Graph,Ma原创 2017-08-14 14:53:08 · 3844 阅读 · 2 评论 -
深度学习笔记——理论与推导之Structured Learning【Markov Random Field】(十)
Graphical Model & Gibbs Sampling(Sturctured Learning) Graphical Model是Structured Learning中的一种。Structured Learning复习 Structured Learning中两个存在困扰的地方: 1. 如何设计feature vector(即Φ(x,y)): 2. Inference原创 2017-08-10 17:03:54 · 2215 阅读 · 1 评论 -
深度学习笔记——理论与推导之Structured Learning【Learning with Hidden Information】(九)
引言: Different Kinds of Learning: 1. Supervised Learning: Data: 2. Semi-supervised Learning Data: 3. Unsupervised Learning Data: 4. Hidden variable Learning Data:Example A原创 2017-08-10 11:45:12 · 1912 阅读 · 0 评论 -
在Ubuntu上配置TensorFlow,Eclipse+PyDev遇到的问题
TensorFlow 1. install:http://blog.csdn.net/wizen641372472/article/details/72675549Problem: E: Could not get lock /var/lib/apt/lists/lock - open (11: Resource temporarily unavailable) http://www原创 2017-07-21 18:03:02 · 948 阅读 · 0 评论 -
windows64位下安装TensorFlow(cpu版本)
准备工作:1. 下载anaconda,我下载的是Anaconda3-4.2.0-Windows-x86_64。参考了别人的博客,说是因为Anaconda3-4.3.1-Windows-x86_64支持python3.6,结果在tensorFlow中安装时出现not a supported wheel on this platform错误。因为官网上提到了TensorFlow support原创 2017-06-15 09:49:11 · 4404 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow之DNN深度神经网络的实现(十四)
DNN与CNN的本质差不多,只不过CNN加上了卷积层C以及池化层。做了卷积操作,参数共享减少了网络之间的连接参数。DNN就是去掉C之后,使用全连接层+dropout下降+relu激活,一层一层的WX+B的网络模式。原创 2017-07-11 18:00:47 · 2138 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow之Model(十三)
TensorFlow的模型存储,恢复与使用在tensorflow中保存 模型 恢复模型的 类是tf.train.Saver() 默认 是所有的变量 当不传参数,默认就是所有的变量 保存模型:#save(sess,save_path,...)save_path = saver.save(sess,"/root/alexnet.tfmodel")从文件中恢复模型(此时restore恢复原创 2017-07-11 16:54:32 · 860 阅读 · 0 评论 -
深度学习学习笔记——部分API解析
持续更新tf.slice(input_, begin, size, name=None) 作用:提取Tensor中的一片 参数解释: - input_:表示输入的Tensor数据 - begin:n维列表,begin[i] 表示从inputs中第i维抽取数据时,相对0的起始偏移量,也就是从第i维的begin[i]开始抽取数据 - size:n维列表原创 2017-07-06 10:49:21 · 1646 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow(十二)
参考网站:https://my.oschina.net/yilian/blog/661900TensorBoard面板可视化管理TensorBoard是TensorFlow自带的可视化面板,既可以显示网络结构,又可以显示训练和测试过程中各层参数的变化情况。 1.tensorflow网络可视化,操作,对于每一步op形成的无向图,我们可以用tensorflow可视化,因为tensorflow默认每次回转载 2017-07-11 14:58:56 · 2014 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow(六)[TensorFlow线性模型教程]
参考资料:https://www.tensorflow.org/versions/r0.12/tutorials/wide/index.html#tensorflow-linear-model-tutorialTensorFlow Linear Model TutorialIn this tutorial, we will use the TF.Learn API in TensorFlow t翻译 2017-06-28 16:53:10 · 5285 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow(二)
一. 学习网站:https://www.tensorflow.org/versions/r0.12/tutorials/index.htmlhttp://wiki.jikexueyuan.com/project/tensorflow-zh/tutorials/overview.htmlhttp://www.tensorfly.cn/tfdoc/tutorials/mnist_beginners翻译 2017-06-20 15:34:39 · 4888 阅读 · 1 评论 -
深度学习笔记——算法总结
一、 分类问题KNN (距离度量)DT (ID3-信息增益, C4.5-信息增益比, CART-gini指数)RF (bootstrap抽样,CART)Adaboost (样本权值分布,分类器系数)GBDT (CART, 残差)ANN (BP, SGD, sigmod or softmax)SVM (对偶, kernel)NaiveBayes (Bayes公式)LR (sigmod转载 2017-07-10 16:41:01 · 604 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow(一)
一. 学习网站:1. Introduction:https://www.tensorflow.org/versions/r0.12/get_started/index.html2. Tutorials:https://www.tensorflow.org/versions/r0.12/tutorials/index.html3. API:https://www.tensorflow.org/ve翻译 2017-06-19 15:51:01 · 2401 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow(七)[TensorFlow广度&深度教程]
学习网站:https://www.tensorflow.org/versions/r0.12/tutorials/wide_and_deep/index.html#tensorflow-wide-deep-learning-tutorial 对于前向反馈和后向传输进行解释的博客:http://blog.csdn.net/zhangjunhit/article/details/53501680翻译 2017-07-02 19:33:40 · 1646 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow之MLP(十四)
MLP多层感知器的使用,多层感知器,常用来做分类,效果非常好,比如文本分类,效果比SVM和bayes好多了。感知器学习算法基本介绍单层感知器: 感知器(Single Layer Perceptron)是最简单的神经网络,它包含输入层和输出层,而输入层和输出层是直接相连的。 上图是一个单层感知器,很简单的结构,输入层和输出层直接相连。 下面介绍一下如何计算输出端: 利用格式1计算输原创 2017-07-12 11:09:33 · 4729 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow(四)[高级API tf.contrib.learn]
参考网站:tf.contrib.learn:https://www.tensorflow.org/versions/r0.12/tutorials/tflearn/index.htmltf.contrib.learn Quickstart TensorFlow’s high-level machine learning API (tf.contrib.learn) makes it easy翻译 2017-06-27 10:58:18 · 1272 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow(三)
一. 学习网站:官方教程:https://www.tensorflow.org/versions/r0.12/tutorials/mnist/pros/index.html#deep-mnist-for-experts中文文档:http://www.tensorfly.cn/tfdoc/tutorials/mnist_pros.html二. 教程:Deep MNIST for Experts:翻译 2017-06-27 08:52:33 · 1444 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow(五)[TensorFlow大规模线性模型教程]
参考网站:https://www.tensorflow.org/versions/r0.12/tutorials/linear/overview.html#large-scale-linear-models-with-tensorflowhttp://www.jianshu.com/p/afe41ae17a16Large-scale Linear Models with TensorFlow:翻译 2017-06-27 16:06:42 · 1930 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow(十)[Creating Estimators in tf.contrib.learn]
Creating Estimators in tf.contrib.learnThe tf.contrib.learn framework makes it easy to construct and train machine learning models via its high-level Estimator API. Estimator offers classes you can翻译 2017-07-04 16:17:13 · 7475 阅读 · 1 评论 -
深度学习笔记——深度学习框架TensorFlow(九)[Building Input Functions with tf.contrib.learn]
Building Input Functions with tf.contrib.learnThis tutorial introduces you to creating input functions in tf.contrib.learn. You’ll get an overview of how to construct an input_fn to preprocess and f翻译 2017-07-04 10:03:53 · 1854 阅读 · 0 评论 -
准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure
准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure机器学习(ML),自然语言处理(NLP),信息检索(IR)等领域,评估(Evaluation)是一个必要的 工作,而其评价指标往往有如下几点:准确率(Accuracy),精确率(Precision),召回率(Recall)和F1-Measure。(注: 相对来说,IR 的 ground trut转载 2017-07-03 14:15:07 · 977 阅读 · 0 评论 -
深度学习笔记——深度学习框架TensorFlow(八)[Logging and Monitoring Basics with tf.contrib.learn]
Logging and Monitoring Basics with tf.contrib.learnWhen training a model, it’s often valuable to track and evaluate progress in real time. In this tutorial, you’ll learn how to use TensorFlow’s logging翻译 2017-07-03 13:40:41 · 2171 阅读 · 0 评论 -
BP神经网络后向传播算法
原博文:http://blog.csdn.net/yunpiao123456/article/details/52526907下图显示了三层神经网络的后向传播算法实现过程 每个神经元有两个单元组成。一个是权重和输入信号。另一个是非线性单元,叫做激励函数。信号e是激励信号。y = f(e) 是非线性单元的输出,即是神经元的输出。 为了训练神经网转载 2017-06-29 17:56:09 · 515 阅读 · 0 评论