hadoop
普通网友
这个作者很懒,什么都没留下…
展开
-
Hive优化策略
Hive的执行依赖于底层的MapReduce的作业,所以在执行效率上都是依赖于MR执行的一个效率。所以,在学习了解MR原理是必要的,清楚了Hive底层的优化过程,会大大增加Hive的执行效率。Hive对于OLAP类型的应用有很大的局限性,它不适合需要立即返回查询结果的场景。然而,通过实施下面一系列的调优方法,Hive查询的性能会有大幅提高。启动压缩 压缩可以使磁盘上存...翻译 2018-04-12 18:38:41 · 424 阅读 · 0 评论 -
任务调度 - 常见问题
1.put: Permission denied: user=yarn, access=WRITE, inode="/user/oozie/puck/user_base_info/user_base_info_history":hdfs:oozie:drwxr-xr-x To tell oozie not to run container as yarn but as the use原创 2018-04-24 17:31:23 · 689 阅读 · 0 评论 -
CDH集群时区问题
时区 时区概念 大家应该知道,地球上按照经纬度将地球划分为二十四个时区(东、西各12个时区),每两个相邻的时区间时间上相差1小时。 标准时间概念 UTC是世界标准时间,指的是零时区(英国格林尼治天文台旧址)里的时间。 中国时区 中国所在的时区为东八区,所以中国的时间应该是UTC时间加上8个小时,即常见的UTC+8时间。 CDH集群上有很多组件默认都用的是UTC时间,所以使用中会出现时间的偏差。因此...原创 2019-01-08 10:12:29 · 3161 阅读 · 4 评论