chuntongshen5917的博客

#简介zeppelin默认查询hive数据时会先获取hive的元数据，但是当元数据比较多时获取速度慢。我们的机器上show tables 会有3min中的延迟。问题跟踪思路执行show tables查看zeppelin日志从日志里可以看出当web执行脚本时实际上根据执行的任务类型调用...

[toc]Hbase 常用shell操作list #查看default中的表 list # 查看命名空间 list_namespace #查看命名空间表 list_namespace_tables 'hbase'create...

简介通过前几篇博客，深入了解了hadoop rpc调度的一些流程，但是那些都太细节了，没有一个整体的架构情况。知识比较零散，需要一次系统整理和总结。下边是我自己整理的情况，肯定有很多不足之处，希望有人一起学习，一个人读源码还是很痛苦的，有人一起学习才好玩。rpc client 总结rpc...

简介继续上一篇博客远程调度（三）来介绍hadoop远程调度过程。上一篇主要写rpc 服务端启动，和接受到客户端请求，处理请求，及把请求封装成一个call对象。接下来介绍怎么执行客户端请求，和结果返回客户端。Hander 中处理Call对象hander对象数组初始化在Server.star...

简介前几篇博客介绍了NIO和hadoop rpc的主要流程。本文主要介绍hadoop rpc server端接受到请求怎么处理，怎样返回。rpc 服务端提供服务的大致流程rpc server端在接受到客户端请求后，会解析接受到的参数，获取需要执行的类，接口，方法，参数等信息根据接口获...

hadoop 远程调度（二）[toc]远程调度例子//定义接口public interface ClientProtocol extends org.apache.hadoop.ipc.VersionedProtocol{ long versionID = 123456; ...

#hadoop远程过程调度（1）[toc]RPC基础知识rpc 原理rpc就是允许程序调度位于其他机器上的过程。大致调度步骤：client通过动态代理获取接口对象client调用接口的实例对象的方法通过socket把需要执行的类，方法，参数传递到服务器服务器接受到参数后，反...

hadoop 压缩框架[toc]hadoop 常见的压缩| 格式 | split | native |压缩率 |速度 | 是否hadoop自带 |linux命令 | 换成压缩格式后，原来的应用程序是否要修改 || :-------- | :--------:| :------: |:-...

hadoop 序列化框架[toc]序列化，反序列化序列化： 按照一定格式把一个对象编码成一个字节流，可以存储在硬盘，可以在网络中传递，可以拷贝，克隆 等，反序列化： 把存入字节流的对象，解析成一个对象。java 序列化序列化接口： Serializable输入输出： Object...

hadoop 配置文件处理[toc]Configuration 类Configuration 作用1.加载配置文件2.可以加载多个配置文件3.支持动态修改配置4.快速保存配置文件构造方法 public Configuration(); //是否加载默认的配置文件...

Hive 源码编译和调试编译下载hive源码，解压后，跳转源码目录执行命令 ： ** mvn clean compile -Phadoop-2 -DskipTests **编译完成后导入eclipse 或idea中hive调试命令 ： hive --debug这个命令会开放端口 ...

承接上一篇博客：hive Derver类源码解析本文介绍最常用的mapred任务调度过程。作为个人的学习笔记，没有很好的描述博客，大家将就着看吧，如果有什么问题欢迎留言交流。上篇博客中 driver 的execute方法中调度了TaskRunner的 run方法或者runQuential方...

接上一篇博客hive 命令行提交sql 执行过程继续写很烂的文章，如果有意见请在下方留言。Driver类主要编译sql，处理执行前，执行后的钩子函数， 运行执行计划下边详细解析driver的几个方法run 方法 @Override public CommandProcessorR...

承接上一篇文档：hive cli 启动本文继续说查看hive源码，分析hive sql 执行过程。但不会详细解析sql 编译过程，因为我也不懂，还没看到????。processLine方法//line ： 要执行的命令 。 allowInterrupting ： 命令是否可以被中断 publ...

hive Cli 启动[toc]CliDriver作用： 执行命令：hive时 实际上运行的类是org.apache.hadoop.hive.cli.CliDriver.java 。入口 public static void main(String[] args) throws...