夜阑听风

仰望新技术,低头敲代码

tensorflow的部分函数汇总(非大全,保持更新)

写在前面: 默认已经引入Tensorflow 和Numpy, 且形如: import numpy as np import tensorflow as tf 1.ones_like sess = tf.Session() ones_like = tf.ones_like([2, 3]...

2019-02-19 19:33:22

阅读数 56

评论数 0

白话RNN系列(七)

本文,探讨下LSTM的一些高级应用,比如双向LSTM。 前面的探讨过程中, 我们使用到的RNN或者LSTM都是单向的,即按照时间顺序排列的一维序列;而在实际应用中,双向的RNN由于考虑到更充足的上下文,往往能起到更好的效果: Bi-RNN又叫双向RNN,是采用了两个方向的RNN网络。 RNN网...

2019-01-20 21:59:49

阅读数 159

评论数 1

白话RNN系列(六)

上文给出了一个LSTM使用的具体例子,但其中依旧存在一些东西说的不是很清楚明白,接下来,我们会针对LSTM使用中更加细致的一些东西,做一些介绍。 本人目前使用的基本都是TensorFlow进行开发。 lstm_cell = tf.nn.rnn_cell.LSTMCell(n_hidden, ...

2019-01-20 21:11:35

阅读数 54

评论数 0

白话RNN系列(五)

前文,对于LSTM的结构进行了系统的介绍,本文,通过一个MNIST_data的例子,争取能够把LSTM的基本使用来吃透。 import tensorflow as tf import input_data # 导入 MINST 数据集 # from tensorflow.examples.tu...

2019-01-20 19:54:03

阅读数 76

评论数 0

白话RNN系列(四)

本文,谈谈RNN的一个变种,也是目前使用比较广泛的神经网络LSTM,我们首先描述下LSTM的基本结构,然后给出一个具体的使用LSTM的例子,帮助大家尽快掌握LSTM的原理和基本使用方法; 这可能是一张大家熟悉地不能再熟悉的图片了。 我们可以将其与RNN的基本结构进行对比:  我们可以...

2019-01-20 19:00:47

阅读数 141

评论数 0

白话RNN系列(三)

紧接上文,白话RNN系列(二)。 通过generateData得到我们的样本数据之后,我们开始搭建自己的RNN: # 每个批次输入的数据,这里定义为5,即每个批次输入5个数据 batch_size = 5 # RNN中循环的次数,即时间序列的长度 # 这里取长度为15的时间序列 trunca...

2019-01-19 21:33:41

阅读数 81

评论数 0

白话RNN系列(二)

紧接白话谈RNN系列(一) 上文讨论了基础的全连接神经网络,本文,我们来说说RNN。 首先,RNN相比于普通的神经网络,有什么改进? 两点比较突出:权值共享和隐层神经元节点的有序连接。 直接上图,浅显易懂: 上图,摘自深度学习(花书),左侧图和右侧图表达了相同的含义,我们以右侧图为例...

2019-01-19 19:30:55

阅读数 155

评论数 1

白话RNN系列(一)

RNN,循环神经网络,全称Recurrent Neural Network。 本文,从RNN的基本原理讲起,会探讨RNN的前向传播和反向传播,并通过一些浅显易懂的小例子,展示RNN这个东东的神奇之处,尽最大可能以通俗易懂的方式,让看到本文的童鞋都能够掌握RNN。 1:RNN的基本原理 即便是...

2019-01-19 16:32:26

阅读数 116

评论数 0

KNN-机器学习实战系列(一)

开门见山,本文单说KNN: 作为机器学习实战书籍介绍的第一个算法,有一些值得说道的地方: 1:什么是KNN? 机器学习的一些基本知识和概念不加叙述了,直接给出KNN的白话定义:给定M个样本,每个样本均有N个数字衡量的属性,而每个样本均带有自身的标签: 这里,为什么需要数字化定义属性呢?这方...

2018-07-17 11:27:19

阅读数 79

评论数 0

python学习中的一些问题(一)

在使用:pip install pandas出现pip版本过低的警告: 于是准备更新到最新版本,结果又报错了: 命令看起来好像是执行失败,于是把命令行切换成管理员模式执行,然后执行成功: 最后执行成功:  ...

2018-07-16 17:27:38

阅读数 54

评论数 0

聊聊Spark中的宽依赖和窄依赖

开门见山,本文就针对一个点,谈谈Spark中的宽依赖和窄依赖,这是Spark计算引擎划分Stage的根源所在,遇到宽依赖,则划分为多个stage,针对每个Stage,提交一个TaskSet:上图:一张网上的图:基于此图,分析下这里为什么前面的流程都是窄依赖,而后面的却是宽依赖:我们仔细看看,map...

2018-07-08 22:35:46

阅读数 2920

评论数 0

Hbase面试的那些问题

找了一些hbase的面试题,在此汇总一下:1:什么是HBase:从最基本的含义说起,hbase就是一个分布式的NoSql数据库,其建立在HDFS分布式文件存储系统的基础之上,HBase的搭建需要依赖于HDFS,从其配置文件就可以看出,其数据存储的底层,也是依赖于Hbase;定义没什么可说的,就是一...

2018-06-25 22:56:30

阅读数 1795

评论数 0

浅析Yarn中的关键概念-Container

初学Yarn的时候,对于Container的概念感觉非常陌生,即便是后期用了很长时间的Yarn平台,依旧觉得对于Container这个概念没有达到非常熟悉的程度:本文,从源码的角度上来说说,到底什么是Container:说起来非常容易,Container就是Yarn中的一个动态资源分配的概念,其拥...

2018-06-20 11:10:32

阅读数 2994

评论数 0

MapReduce模型中的一些细节讨论

MapReduce的分析模型中,还是有些东西值得讨论和研究的:本文讨论一些MapReduce执行过程中的细节问题,可与本人另外一篇博客相互对照学习:接下来,进入正文(本文讨论依旧是基于Hadoop-1.0.0):-------------------------------------------...

2018-06-06 18:49:18

阅读数 96

评论数 0

分析MapReduce模型源码

在MapReduce编程模型中,有一个东西吸引了我的兴趣:代码如下:public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable> { p...

2018-05-26 17:13:25

阅读数 559

评论数 0

Hive安装-完美教程

废话少说,开门见山。1:hive版本:2.3.3下载地址:https://mirrors.tuna.tsinghua.edu.cn/apache/hive/2:hadoop版本:2.7.63:hbase版本:1.3.2hive部署在hadoop的Master机器上,这里,主要针对conf下若干文件...

2018-05-24 16:35:48

阅读数 1662

评论数 1

从源码看Yarn上的MapReduce(一)

本系列并不过多涉及Yarn的相关源码,重点在于,分析MapReduce这个计算模型,到底是如何跑起来的,无论是在Yarn上,还是在MR1上。本文有些内容与关于Yarn源码系列有交汇,两相对照,学习更深入。本文基于2.6.5的Hadoop源码:我们从头来看,比如说我提交了一个简单的Job程序,其中有...

2018-05-17 19:35:20

阅读数 115

评论数 0

关于Yarn源码那些事(七)

上文说到,需要指定Container所在的NM启动其上的Container,我们看看这个方法的内容:/** * Start a list of containers on this NodeManager. */ @Override public StartContainersResp...

2018-05-16 18:21:17

阅读数 354

评论数 0

关于Yarn源码的那些事(六)

终于可以继续写ApplicationMaster提交和运行的整体流程了。在上次分析到RMAppAttemptImpl的时候,觉得自己对于调度器和状态机了解地不是很清楚,因此暂停,先把一些需要了解的概念分析清楚,今天,继续分析ApplicationMaster提交运行的整体流程:上文中,我们提到,R...

2018-05-16 15:23:15

阅读数 209

评论数 0

关于Yarn源码那些事-番外-Yarn的状态机

上一篇番外,写了Yarn的调度机制,这种大型的调度,主要用于类与类之间的调度,简单来说,就是一个类对于那些觉得自己管控不了的事情,就将其扔给别人来处理。Yarn中很多的类都是有调度器的,而且它们大多都持有全局调度器,对于自己处理不了的事情,干脆利落地将其扔到RM或者NM的调度器中。全局调度器就相当...

2018-05-16 00:50:36

阅读数 329

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭