hadoop
文章平均质量分 65
里格朗咚
人生路上风雨兼程,有你有我就有故事;
变成路上呐喊不断,敢冲敢拼一路征程。
展开
-
ZOOKEEPER的一些理解和运行机制
Zookeeper是一个分布式协调服务,为用户的分布式应用程序提供协调服务; Zookerper是为别的分布式程序服务的; Zookerper本身也是一个分布式程序; 以上的概念怎么去理解呢,其实很简单,看下面的图 从图中可以清晰的看出,servers层就可以看做是Zookerper,做到承上启下的作用。 思考1:假如用户管理服务出现故障挂掉了,那怎么去处理? 这时候就会引入一个新...原创 2018-07-31 13:36:57 · 571 阅读 · 0 评论 -
hdfs环境下多台虚拟机中的时间同步问题
分享两种修改时间的方法 一、虚拟机单次有效,重新启动时配置竟丢失。 使用SecureCRT可视化软件,将控制台设置为send commands to all session,发送命令:date -s '年-月-日 时:分:秒,如下图: 二、.配置时间服务器,集群的其他机器都跟namenode所在机器同步时间,实现永久时间同步,此方法也需要开机自启ntp服务和定时任务 1.检查ntp(N...原创 2018-08-13 19:03:52 · 1377 阅读 · 0 评论 -
Hive分区(静态分区+动态分区)
转自:https://www.cnblogs.com/yongjian/archive/2017/03/29/6640951.html Hive分区的概念与传统关系型数据库分区不同。 传统数据库的分区方式:就oracle而言,分区独立存在于段里,里面存储真实的数据,在数据进行插入的时候自动分配分区。 Hive的分区方式:由于Hive实际是存储在HDFS上的抽象,Hive的一个分...转载 2019-06-28 16:03:04 · 143 阅读 · 0 评论