2017年05月_魔鬼_

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 01月

原创 hive原理与源码分析-ACID及总结（八）

ACID是什么？ 数据库事务的四个特征 Atomicity原子性：要么成功要么失败，不会残留一半的数据 Consisitency一致性：一旦操作完成，后续的操作可以看到操作的结果 Isolation隔离性：一个用户的未完成操作不会对其它用户产生影响 Durability持久性：一旦操作完成，操作将会持久化，不会受系统故障得影响Hive ACID Hive 0.13 以后的版本

2017-05-29 14:48:59 1599

原创 hive原理与源码分析-服务化：LLAP、HiveServer2、MetaStore（七）

hive流程回顾 LLAP LLAP是Live Long and Prosper（生生不息，繁荣昌盛）的缩写，现已故的美国演员、导演伦纳德·尼莫伊的每一条推文都用它来做结束语。伦纳德·尼莫伊在美国电视剧《星际迷航》中扮演斯波克而成名。是当前的美国网络流行语。LLAP本来是想表达Long Lived Process （长驻进程） 后来借用了星际迷航的东西，搞成了LLAP，Live Lon

2017-05-21 16:43:39 2811

原创 hive原理与源码分析-物理执行计划与执行引擎（六）

Hive执行相关配置 hive.execution.engine - Hive执行引擎 mr - 在MapReduce上执行 tez - 在Tez上执行 spark - 在Spark上执行 hive.execution.mode – Hive执行模式 container - 在Yarn Container内执行Query Fragment

2017-05-20 10:04:35 4085

原创 hive原理与源码分析-UDxF、优化器及执行引擎（五）

什么是UDF？ UDF的全称是User-Defined-Functions Hive中一共有三种UDF UDF（User-Defined Function）：输入一行，输入一行，1->1 UDAF（User-Defined Aggregation Function）：输入N行，输出一行，N->1 UDTF（User-Defined Table-generating Function

2017-05-14 22:45:45 3076

原创 hive原理与源码分析-算子Operators及查询优化器Optimizers（四）

Operator接口 https://insight.io/github.com/apache/hive/blob/master/ql/src/java/org/apache/hadoop/hive/ql/exec/Operator.java?line=66 这个接口最重要的一个方法： /** * Process the row. * @param row The object r

2017-05-13 14:22:20 4121 1

原创 hive原理与源码分析-序列化器与反序列化器（三）

使用IDE调试一条简单的SQL 画出AST 画出Operator Tree已有表结构：hive> desc src;OKkey int value string 执行计划：hive> explain select * from sr

2017-05-07 22:28:49 4526

原创 hive原理与源码分析-语法分析器和语义分析器（二）

玩个游戏：执行：find . -name ‘*.java’ | xargs grep –color ‘main(’ | awk ‘{print $1}’ | uniq | grep -v test 找到cli的执行main方法： https://insight.io/github.com/apache/hive/blob/master/cli/src/java/org/apache/hado

2017-05-07 15:46:58 6968 2

原创 hive原理与源码分析-hive源码架构与理论（一）

什么是Hive？数据仓库：存储、查询、分析大规模数据 SQL语言：简单易用的类SQL查询语言 编程模型：允许开发者自定义UDF、Transform、Mapper、Reducer，来更简单地完成复杂MapReduce无法完成的工作 数据格式：处理Hadoop上任意数据格式的数据，或者使用优化的格式存储Hadoop上的数据，RCFile，ORCFile，Parquest 数据服务：H

2017-05-06 11:34:35 17975 2

原创 jconsole查看线程池内部对象在jvm内存变化

我们经常再使用线程时查看jvm的使用状况，以jconsole为例：线程类MyRunnable ：public class MyRunnable implements Runnable { @Override public void run() { System.out.println("run"); } @Override protected

2017-05-05 15:18:02 3020

centos7_hadoop2.7.3_编译所需工具

在centos7下编译hadoop2.7.3所需工具：apache-ant-1.9.4-bin.tar.gz、apache-maven-3.3.3-bin.tar.gz、findbugs-3.0.1.tar.gz、hadoop-2.7.3-src.tar.gz、protobuf-2.5.0.tar.gz

2017-04-17