- 博客(4)
- 资源 (9)
- 收藏
- 关注
RSS订阅
3原创 ClouderaManager修改IP与HostName
背景公司搬迁新到新大楼IP地址发生变化以及需要搭建线上数据中心需要重新规划主机名称，需要线下与线上保持一致方便开发。2.操作系统CentOS6.5CentOS7.4梳理修改相关IP与HostName信息停止相关服务1. 登录ClouderaManager停止所有的CDH服务2. service cloudera-scm-agent stop #需要停止所有的agent3. servi
2017-12-01 17:46:15
2651
原创 Hive数据仓库ODS层数据存储设计
软件环境 Hadoop 2.6.0-cdh5.9.0 Hive 1.1.0-cdh5.9.0 Zookeeper 3.4.5-cdh5.9.0需求背景 数据来源是将8台服务器日志各自压缩成*.gz(8个gz文件)后，按天和小时分区传入到HDFS上，然后通过创建Hive ODS外部表加载到表对应分区，这样一天下来会生产192个gz文件，gz文件是不能进行切分所以查询一天则会产生192
2017-12-01 17:11:07
10173
原创 HiveMetaStore高可用性(HA)配置
软件环境 Hadoop 2.6.0-cdh5.9.0 Hive 1.1.0-cdh5.9.0 Zookeeper 3.4.5-cdh5.9.0工作原理 常规连接 MetaStore HA 前置条件 Hadoop、Zookeeper、Hive是可用的前提Hive Server MetaStore启动 跟单节点配置一样，只不过在多台服务器
2017-12-01 10:00:59
7846
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人