- 博客(15)
- 收藏
- 关注
RSS订阅转载 zeppelin hive查询慢问题记录
#简介zeppelin默认查询hive数据时会先获取hive的元数据，但是当元数据比较多时获取速度慢。我们的机器上show tables 会有3min中的延迟。问题跟踪思路执行show tables查看zeppelin日志从日志里可以看出当web执行脚本时实际上根据执行的任务类型调用...
2017-05-19 19:38:00
466
转载 hbase使用
[toc]Hbase 常用shell操作list #查看default中的表 list # 查看命名空间 list_namespace #查看命名空间表 list_namespace_tables 'hbase'create...
2017-05-15 11:59:00
118
转载 hadoop 远程调度总结
简介通过前几篇博客，深入了解了hadoop rpc调度的一些流程，但是那些都太细节了，没有一个整体的架构情况。知识比较零散，需要一次系统整理和总结。下边是我自己整理的情况，肯定有很多不足之处，希望有人一起学习，一个人读源码还是很痛苦的，有人一起学习才好玩。rpc client 总结rpc...
2017-05-08 10:18:00
112
转载 hadoop 远程调度（四）
简介继续上一篇博客远程调度（三）来介绍hadoop远程调度过程。上一篇主要写rpc 服务端启动，和接受到客户端请求，处理请求，及把请求封装成一个call对象。接下来介绍怎么执行客户端请求，和结果返回客户端。Hander 中处理Call对象hander对象数组初始化在Server.star...
2017-05-05 11:01:00
173
转载 hadoop 远程调度（三）
简介前几篇博客介绍了NIO和hadoop rpc的主要流程。本文主要介绍hadoop rpc server端接受到请求怎么处理，怎样返回。rpc 服务端提供服务的大致流程rpc server端在接受到客户端请求后，会解析接受到的参数，获取需要执行的类，接口，方法，参数等信息根据接口获...
2017-05-04 11:40:00
108
转载 hadoop 远程调度（二）
hadoop 远程调度（二）[toc]远程调度例子//定义接口public interface ClientProtocol extends org.apache.hadoop.ipc.VersionedProtocol{ long versionID = 123456; ...
2017-05-03 09:39:00
137
转载 hadoop远程过程调度（1）
#hadoop远程过程调度（1）[toc]RPC基础知识rpc 原理rpc就是允许程序调度位于其他机器上的过程。大致调度步骤：client通过动态代理获取接口对象client调用接口的实例对象的方法通过socket把需要执行的类，方法，参数传递到服务器服务器接受到参数后，反...
2017-05-03 09:37:00
95
转载 hadoop 压缩框架
hadoop 压缩框架[toc]hadoop 常见的压缩| 格式 | split | native |压缩率 |速度 | 是否hadoop自带 |linux命令 | 换成压缩格式后，原来的应用程序是否要修改 || :-------- | :--------:| :------: |:-...
2017-05-03 09:21:00
107
转载 hadoop 序列化框架
hadoop 序列化框架[toc]序列化，反序列化序列化： 按照一定格式把一个对象编码成一个字节流，可以存储在硬盘，可以在网络中传递，可以拷贝，克隆 等，反序列化： 把存入字节流的对象，解析成一个对象。java 序列化序列化接口： Serializable输入输出： Object...
2017-05-03 09:20:00
197
转载 hadoop 配置文件处理
hadoop 配置文件处理[toc]Configuration 类Configuration 作用1.加载配置文件2.可以加载多个配置文件3.支持动态修改配置4.快速保存配置文件构造方法 public Configuration(); //是否加载默认的配置文件...
2017-05-03 09:18:00
134
转载 Hive 源码编译和调试
Hive 源码编译和调试编译下载hive源码，解压后，跳转源码目录执行命令 ： ** mvn clean compile -Phadoop-2 -DskipTests **编译完成后导入eclipse 或idea中hive调试命令 ： hive --debug这个命令会开放端口 ...
2017-04-28 11:03:00
580
转载 hive MapRedTask 调度分析
承接上一篇博客：hive Derver类源码解析本文介绍最常用的mapred任务调度过程。作为个人的学习笔记，没有很好的描述博客，大家将就着看吧，如果有什么问题欢迎留言交流。上篇博客中 driver 的execute方法中调度了TaskRunner的 run方法或者runQuential方...
2017-04-28 10:20:00
699
转载 hive Derver类源码解析
接上一篇博客hive 命令行提交sql 执行过程继续写很烂的文章，如果有意见请在下方留言。Driver类主要编译sql，处理执行前，执行后的钩子函数， 运行执行计划下边详细解析driver的几个方法run 方法 @Override public CommandProcessorR...
2017-04-27 17:53:00
131
转载 hive 命令行提交sql 执行过程
承接上一篇文档：hive cli 启动本文继续说查看hive源码，分析hive sql 执行过程。但不会详细解析sql 编译过程，因为我也不懂，还没看到????。processLine方法//line ： 要执行的命令 。 allowInterrupting ： 命令是否可以被中断 publ...
2017-04-27 15:46:00
1076
转载 hive cli启动
hive Cli 启动[toc]CliDriver作用： 执行命令：hive时 实际上运行的类是org.apache.hadoop.hive.cli.CliDriver.java 。入口 public static void main(String[] args) throws...
2017-04-27 11:30:00
570
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人