大数据
文章平均质量分 51
寻找手艺人
做好每一件小事,就是一件了不起的大事
展开
-
检查依赖数据到达后定时触发任务
#!/bin/bashHOST_NAME='xxxxxxxx'PORT=3306USER_NAME=rootPASSWORD='xxxxx'DBNAME='edg'# 任务队列变量数组export declare -a task_queus=()#===========================校验YARN任务队列中是否存在正在运行或就绪的任务========================================function IsExistsYarnTask(){原创 2021-02-19 19:57:34 · 143 阅读 · 0 评论 -
hadoop hdfs HA原理讲解、脑裂问题产生
Namenode HA原理详解社区hadoop2.2.0 release版本开始支持NameNode的HA,本文将详细描述NameNode HA内部的设计与实现。 为什么要Namenode HA?1. NameNode High Availability即高可用。2. NameNode 很重要,挂掉会导致存储停止服务,无法进行数据的读写,基于此NameNode的计算(MR,Hive等)也无法完成。...转载 2018-05-18 08:35:39 · 770 阅读 · 0 评论 -
大数据平台CDH和HDP
CDH (Cloudera’s Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建,并集成了很多补丁,可直接用于生产环境。Cloudera Manager则是为了便于在集群中进行Hadoop等大数据处理相关的服务安装和监控管理的组件,对集群中主机、Hadoop、Hiv...原创 2018-05-15 10:20:33 · 5920 阅读 · 0 评论 -
Centos7.2搭建Ambari 2.4.2大数据集群平台
1、前期准备工作1.1需要的环境 名称 详细解释 备注 系统 CentOS Linux release 7.2.1511 (Core) cat /etc/redhat-release 内存 建议配置128G,最低不得小于32G grep MemTotal /proc/meminfo 工具 Xshell 5(windows) ...原创 2018-07-10 11:31:12 · 1010 阅读 · 0 评论 -
centos7 ambari2.6.1.5+hdp2.6.4.0 大数据集群安装部署
转载请务必注明原创地址为:https://dongkelun.com/2018/04/25/ambariConf/前言本文是讲如何在centos7(64位) 安装ambari+hdp,如果在装有原生hadoop等集群的机器上安装,需要先将集群服务停掉,然后将不需要的环境变量注释掉即可,如果不注释掉,后面虽然可以安装成功,但是在启动某些服务的时候可能会有异常,比如最后提到的hive启动异常。本文适合...转载 2018-06-28 12:16:59 · 274 阅读 · 0 评论