2017年07月_sooner高

转载 Hive In Oozie Workflow

本文转载自浩瀚深度的大神，因为在北邮实习过，所以也算有渊源吧，哈哈！特此感谢它的分享在公司搭建和维护大数据平台，并提供给其他数据分析人员使用，hive就是那些非程序员使用的最多（几乎是唯一）的一个服务。当然，在每天的数据处理中，我们为了简化编码工作量，以及使用到数据分析人员积累的成果，可以直接使用或简单修改他们提供的hql脚本进行数据处理，并且使用Oozie调度hive作业。在此介绍一下Hive

2017-07-31 19:44:56 773

原创 RNN中BPTT的推导和可能的问题

最近开始啃LSTM，发现BPTT这块还是不是很清晰，结合RNN，把这块整理整理RNN前馈神经网络（feedforward neural networks）如下图所示（这块内容可见我的博客神经网络BP算法）：假设我们的训练集只有一个实例（x(1),y(1)x(1),y(1)），我们的神经网络是一个三层的神经网络，即隐藏层只有1层。以中间层神经元SjS_j，(j=1,2)为例，它只模仿了

2017-07-30 22:17:57 2996

原创 BFS——广度优先算法（Breadth First Search）

1、前言这几天刷leetcode经常碰到DFS BFS的问题，之前一直也是模棱两可，凭着感觉做，是需要总结一下了。广度优先搜索（也称宽度优先搜索，缩写BFS，以下采用广度来描述）是连通图的一种遍历策略。因为它的思想是从一个顶点V0V_0开始，辐射状地优先遍历其周围较广的区域，因此得名。一般可以用它做什么呢？一个最直观经典的例子就是走迷宫，我们从起点开始，找出到终点的最短路程，很多最短路径算

2017-07-27 10:56:16 113436 4

原创 ReduceByKey算子理解

前言最近经常使用到reduceByKey这个算子，想着结合*ByKey算子和stage划分一起总结一下，所以沉下心来仔细过了一遍相关的博客和帖子，在此整体过一遍这个算子，那么我们开始：国外的大牛一上来给出这么一句话，个人感觉高度概括了reduceByKey的功能：Spark RDD reduceByKey function merges the values for each key usi

2017-07-25 20:12:01 5783

转载深入研究 spark 运行原理之 job, stage, task

前言本文转载自李涛涛的博客本系列是综合了自己在学习spark过程中的理解记录＋对参考文章中的一些理解＋个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录，所以一切以能够理解为主，没有必要的细节就不会记录了，而且文中有时候会出现英文原版文档，只要不影响理解，都不翻译了。若想深入了解，最好阅读参考文章和官方文档。其次，本系列是基于目前最新的

2017-07-25 19:54:30 1509

原创 DFS——深度优先算法（Depth First Search）

1、前言这几天刷leetcode经常碰到DFS BFS的问题，之前一直也是模棱两可，凭着感觉做，是需要总结一下了。深度优先搜索（缩写DFS）是一种在开发爬虫早期使用较多的方法。属于图算法的一种，也是对一个连通图进行遍历的算法。其思想是：从一个顶点vv开始，沿着一条路线一直走到底，如果发现不能到达目标，那就返回到走不通节点的上一个节点，然后尝试从另一条路开始走到底，每个节点只可以访问一次。这

2017-07-21 15:36:55 18800 2

原创 Oozie教程（1）——实现你自己的Hadoop/Spark作业工作流

前言Oozie是什么呢？按官方说法：Oozie是一个基于工作流引擎的服务器，其中每个工作流的任务可以是Hadoop的Map/Reduce作业或者Pig作业等。Oozie是运行于Java servlet容器上的一个java web应用。Oozie的目的是按照DAG（有向无环图）调度一系列的Map/Reduce或者Pig任务。Oozie 工作流由hPDL（Hadoop Process Definitio

2017-07-06 14:02:50 11503

转载 ORACLE-SQLLOAD导入外部数据详解

今天公司需要把外部文本的一些数据导入到数据库。这里把相关步骤和注意的地方记录，供需要的人参考学习！这里的环境是在LINUX下的数据库，windows或者其他数据库同理！1、准备工作：创建需要导入数据的表结构，如果已有相关的表，此步省略！SQL> create table test 2 ( 3 host VARCHAR2(

2017-07-03 10:08:26 2927

g11d111的博客