大数据常用软件安装
主要讲解大数据常用软件,如Hadoop,Spark,Storm,HBase,Kafka的安装,以及高可用集群的详细搭建步骤
weixin_42073629
这个作者很懒,什么都没留下…
展开
-
Hadoop之——Hadoop3.x集群动态增加和删除DataNode与NodeManager节点
https://blog.csdn.net/l1028386804/article/details/94164259转载 2021-08-22 21:17:54 · 246 阅读 · 0 评论 -
Hadoop之——基于3台服务器搭建Hadoop3.x集群
https://blog.csdn.net/l1028386804/article/details/94164259转载 2021-08-22 21:16:03 · 120 阅读 · 0 评论 -
Cloudera Manager----CDH集群离线部署(CDH6.3.1 + CDH6.3.2 + CentOS7)
转载https://blog.csdn.net/qq_40856560/article/details/109007683转载 2021-03-14 01:13:19 · 287 阅读 · 0 评论 -
Ambari——Ambari-2.7.3+Centos7离线安装
请查看转载https://blog.csdn.net/Happy_Sunshine_Boy/article/details/86595945转载 2021-03-14 01:10:24 · 501 阅读 · 0 评论 -
Ambari——大数据平台的搭建利器(一)
Ambari是hadoop分布式集群配置管理工具,是由hortonworks主导的开源项目。它已经成为apache基金会的孵化器项目,已经成为hadoop运维系统中的得力助手,引起了业界和学术界的关注。Ambari采用的不是一个新的思想和架构,也不是完成了软件的新的革命,而是充分利用了一些已有的优秀开源软件,巧妙地把它们结合起来,使其在分布式环境中做到了集群式服务管理能力、监控能力、展示能力。这些优秀开源软件有: 在agent端,采用了puppet管理节点; 在Web端,采用了ember.js原创 2020-12-13 10:53:41 · 7630 阅读 · 1 评论 -
HBase —— 集群环境搭建
一、集群规划这里搭建一个 3 节点的 HBase 集群,其中三台主机上均为Regin Server。同时为了保证高可用,除了在 hadoop001 上部署主Master服务外,还在 hadoop002 上部署备用的Master服务。Master 服务由 Zookeeper 集群进行协调管理,如果主Master不可用,则备用Master会成为新的主Master。二、前置条件HBase 的运行需要依赖 Hadoop 和 JDK(HBase 2.0+对应JDK 1.8+) ...原创 2020-10-25 01:06:48 · 153 阅读 · 0 评论 -
HBase —— 单机环境搭建
一、安装前置条件说明1.1 JDK版本说明HBase 需要依赖 JDK 环境,同时 HBase 2.0+ 以上版本不再支持 JDK 1.7 ,需要安装 JDK 1.8+ 。JDK 安装方式见本仓库:Linux 环境下 JDK 安装1.2 Standalone模式和伪集群模式的区别在Standalone模式下,所有守护进程都运行在一个jvm进程/实例中; 在伪分布模式下,HBase 仍然在单个主机上运行,但是每个守护进程 (HMaster,HRegionServer 和 Zo...原创 2020-10-25 01:06:26 · 208 阅读 · 0 评论 -
基于 ZooKeeper 搭建高可用Spark集群搭建
一、集群规划这里搭建一个 3 节点的 Spark 集群,其中三台主机上均部署Worker服务。同时为了保证高可用,除了在 hadoop001 上部署主Master服务外,还在 hadoop002 和 hadoop003 上分别部署备用的Master服务,Master 服务由 Zookeeper 集群进行协调管理,如果主Master不可用,则备用Master会成为新的主Master。二、前置条件搭建 Spark 集群前,需要保证 JDK 环境、Zookeeper 集群和 ...原创 2020-08-13 23:58:44 · 178 阅读 · 0 评论 -
Hive —— 安装部署
一、安装Hive1.1 下载并解压下载所需版本的 Hive,这里我下载版本为cdh5.15.2。下载地址:http://archive.cloudera.com/cdh5/cdh/5/# 下载后进行解压 tar -zxvf hive-1.1.0-cdh5.15.2.tar.gz1.2 配置环境变量vim /etc/profile添加环境变量:export HIVE_HOME=/usr/app/hive-1.1.0-cdh5.15.2export PATH=$HIV...原创 2020-08-13 23:45:11 · 349 阅读 · 0 评论 -
Azkaban 3.x 编译及部署
一、Azkaban 源码编译1.1 下载并解压Azkaban 在 3.0 版本之后就不提供对应的安装包,需要自己下载源码进行编译。下载所需版本的源码,Azkaban 的源码托管在 GitHub 上,地址为 https://github.com/azkaban/azkaban 。可以使用git clone的方式获取源码,也可以使用wget直接下载对应 release 版本的tar.gz文件,这里我采用第二种方式:# 下载wget https://github.com/azkab...原创 2020-08-11 23:49:52 · 301 阅读 · 1 评论 -
基于 ZooKeeper 搭建 Kafka 高可用集群
一、Zookeeper集群搭建为保证集群高可用,Zookeeper 集群的节点数最好是奇数,最少有三个节点,所以这里搭建一个三个节点的集群。1.1 下载 & 解压下载对应版本 Zookeeper,这里我下载的版本3.4.14。官方下载地址:https://archive.apache.org/dist/zookeeper/# 下载wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.原创 2020-08-11 23:43:10 · 370 阅读 · 0 评论 -
基于 ZooKeeper 搭建 Hadoop 高可用集群
一、高可用简介Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多,所以它的实现也更加复杂,故下面先进行讲解:1.1 高可用整体架构HDFS 高可用架构如下:图片引用自:https://www.edureka.co/blog/how-to-set-up-hadoop-cluster-with-hdfs-hi原创 2020-08-11 23:18:13 · 285 阅读 · 0 评论 -
Zookeeper单机环境和集群环境搭建
一、单机环境搭建1.1 下载下载对应版本 Zookeeper,这里我下载的版本3.4.14。官方下载地址:https://archive.apache.org/dist/zookeeper/# wget https://archive.apache.org/dist/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz1.2 解压tar -zxvf zookeeper-3.4.14.tar.gz1.3 配置环境变量vi...原创 2020-08-07 01:46:01 · 122 阅读 · 0 评论 -
Hadoop —— 集群环境搭建
一、集群规划这里搭建一个 3 节点的 Hadoop 集群,其中三台主机均部署DataNode和NodeManager服务,但只有 hadoop001 上部署NameNode和ResourceManager服务。二、前置条件Hadoop 的运行依赖 JDK,需要预先安装。其安装步骤单独整理至:Linux 下 JDK 的安装三、配置免密登录3.1 生成密匙在每台主机上使用ssh-keygen命令生成公钥私钥对:ssh-keygen3.2 免密登录...原创 2020-08-07 01:31:11 · 113 阅读 · 0 评论 -
Hadoop —— linux单机环境搭建
一、前置条件Hadoop 的运行依赖 JDK,需要预先安装,安装步骤见:Linux 下 JDK 的安装二、配置免密登录Hadoop 组件之间需要基于 SSH 进行通讯。2.1 配置映射配置 ip 地址和主机名映射:vim /etc/hosts# 文件末尾增加192.168.43.202 hadoop0012.2 生成公私钥执行下面命令行生成公匙和私匙:ssh-keygen -t rsa2.3 授权进入~/.ssh目录下,查看生成的公匙和私匙,并将..原创 2020-07-26 02:56:52 · 378 阅读 · 0 评论