BalaBalaYi的博客

一.POM依赖作者的hadoop集群环境为：HDFS,YARN,MapReduce2 : 2.7.3Hive : 1.2.1000HBase : 1.1.2注：phoenix版本依赖性较强，请注意不同发行版之间的差异（直接从集群服务器上获取jar包最为可靠） UTF-8 2.4.0.RELEASE 1.2.1 4.7  1.

一. 介绍HiBench是一款用于hadoop集群性能测试的开源工具。支持MR,HIVE,SPARK等计算框架，且支持多种维度的测试。早在HiBench5.0的时候作者就用过，个人感觉还不错，无论是apache hadoop，cdh还是hdp都可以支持。最新发现，HiBench 7.x 版本发布了。因此就趁着机会，结合新版本总结一下使用中遇到的问题，助大家过坑。HiBench的gith...

上文已经讲了集成实现的具体步骤，下面我们以Elasticsearch和Kibana为例，来简单实践下第三方集成服务的安装。 三. 部署使用1. Ambari安装第三方服务1）下载代码 2）拷贝至Ambari的服务目录（这里采用2.6版本）：cp -r ./ELASTICSEARCH-6.4.x /var/lib/ambari-server/resources/stac...

一. 简单介绍1. 软件介绍1）Ambari（HDP）玩过大数据的人都知道，除了原生的apache hadoop，有两大hadoop厂商（现在已经合并了。。喜闻乐见。。。）：Hortonworks 和 Cloudera。Cloudera的hadoop产品相对来讲成熟度高，商业化程度高。而Hortonworks的hadoop产品种类更多，且开源度高，社区活跃。正是因为开源，才能自定义第三...

上文已经简单介绍了前因，这里我们就最核心的内容：如何做，进行讲解。 二. 集成实现过程详解Ambari下服务资源的定义结构如下图所示：|_ stacks |_ <stack_name> |_ <stack_version> metainfo.xml |_ hooks |_ repos...

环境：操作系统：Centos7.2 1511Ambari：2.6.2.0HDP：2.6.5.0Spark：2.x (HDP)Phoenix：4.7.x (HDP) 条件：1. HBase 安装完成；2. Phoenix已经启用，ambari界面如下所示：3. Spark2 安装完成。 配置方式：方式一1. 进入 Ambari Spark2...

本文详细记录了：centos7.2, cdh 5.12 环境下azkaban 3.20.0 Hdfs插件的安装过程。因为官网文档在此部分的说明极为简陋，且3.x的插件需要源码构建并且问题诸多，因此留下此篇文章助诸位过坑。官网文档：https://azkaban.github.io/azkaban/docs/latest/#hdfs-browser

二.准备工作 关于linux环境创建，yum源配置等基础系统搭建过程就不在此赘述了。以下内容完全是基于centos7环境，root用户。 1.安装JAVA环境1) 下载jdk套件，此处作者使用的是：jdk1.8.0_111 （选择合适的稳定版本即可）oracle官方下载地址：http://www.oracle.com/technetwork/java/javase/down

注：此篇文章主要面向对hadoop有一定了解的开发和运维人员，若是初次接触hadoop集群，具体安装过程请更多参考Ambari的安装部署教程：http://blog.csdn.net/balabalayi/article/details/64920537CDH Manager的部署与安装与Ambari的安装有极大的相似性，几乎就是“安装包和文件目录不一样”的区别过程简单阐述，具

五.Ambari使用——卸载集群ambari本身并没有提供自动化卸载的功能。ambari web管理端的操作更多的是实现服务或是主机的扩展（无法完全清除服务和主机）。因此本人通过实践，也整理了一份手动卸载脚本：注：因为此脚本只是根据作者实践以及其它网络资料整理而成，所以脚本内容一定不全（目前尚不清楚官方是否提供官方版本）。但是各位看官稍微了解ambari的安装目录结构即可进一步完善

四.Ambari使用——建立集群1.登录并创建集群1) 以管理员登录ambari-server,用户名和密码默认为：admin/admin 2) 点击【Launch Install Wizard】开始安装集群 3) 给集群命名 4) 选择版本及对应的远程或本地仓库地址远程仓库设置：直接选择即可 本地仓库设置：1.从官网下载HDP和HDP UTILS下载地址：http://docs.hortonwo

三.部署安装1.安装Ambari-server在线安装1) 在hortonworks公共资源库，选择ambari仓库地址并下载wget http://s3.amazonaws.com/public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo 2) 将ambari.repo文件拷贝

一.Ambari介绍（请详见百度百科等链接）Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。Ambari 跟 Hadoop 等开源软件一样，也是 Apache Softwar

一.前言本篇文章主要讲解Ambari Server端的高可用搭建。注意，是Ambari的Server，而不是Hadoop集群的应用。截止目前为止（Ambari 2.7.x），hortonworks官方并没有给出AmbariServer的高可用的内部实现。因此本篇文章主要讲解如何通过现有开源组件实现AmbariServer的高可用搭建。下述内容直接简称AmbariServer为Ambari。...