![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
各类型大数据集群搭建文档
文章平均质量分 95
目前整理有大数据CDH、HDP、Apache版集群搭建方式,均为亲测整理。
尘世壹俗人
做一只马喽
展开
-
原生Hadoop3.X高可用配置方式
Hadoop3.X版本,在2017年左右就有了第一个alpha版本,但是那个时候刚出来,所以没有人使用,到2018年3.0.0版本作为第一个3,X正式发布,截止当前本文书写时间,3.X版本已经发展到了3.4,在Hadoop的顶层设计上最大的区别就是在2.X的时候,高可用机制只允许一个在工作中,一个在备用,但是3.X的hadoop允许最多存在五套高可用节点。当然,官方推荐最多三套,自带的MR计算框架也由原来的纯磁盘运算加入了内存运算的设计。在给大家介绍3.X如何搭建集群之前,要先给大家说一些理论上的东西,当原创 2024-06-16 15:45:58 · 1094 阅读 · 0 评论 -
原生Hadoop2.X高可用配置方式
前言hadoop配置高可用的时候,要注意,如果你是单namenode升级那么你要提前把有用的数据备份好,因为原创 2020-11-23 18:15:14 · 1498 阅读 · 1 评论 -
知识点14--搭建k8s本地单master测试集群
的pod,但是我在查看的时候发现没有,但是检查镜像、master状态、容器列表都表示着flannel安装没问题,最后在朋友的提示下查询了一下所有的命名空间,才发现flannel的pod在新版中已经不属于kube-system这个系统级的命名空间了。在git上只是看一下版本,安装的时候用阿里的镜像yum安装,但是你要知道如果有一天别人和你说起除了yum安装rpm包这种方式之外的tar包安装,你要知道,这种方法需要从git上下载安装包,并且不是直接点击Assets下面的连接,而是点击。这里安装1.17.0。原创 2022-12-09 20:28:25 · 808 阅读 · 0 评论 -
HDP3.1.5+Ambari2.7.5安装
第一步:搭建环境准备系统使用CentOS 7 64位服务器节点三台:192.168.88.166 node1192.168.88.167 node2192.168.88.168 node3配置:单台8核10G关闭防火墙与selinuxvi /etc/sysconfig/selinuxSELINUX=disabledsystemctl stop firewalld.servicesystemctl disable firewalld.servicesystemctl statu原创 2022-05-25 18:38:40 · 3434 阅读 · 13 评论 -
CDH6.3.2安装文档
安装说明CDH是一个完善的Apache Hadoop及相关项目的发行版。CDH通过WEB界面管理,并提供了hadoop的两个核心功能:可扩展存储和分布式计算,以及企业级的重要功能。CDH是遵循Apache-licensed的开源软件,提供了基于hadoop的批处理、交互SQL、交互查询、基于角色的访问控制。Cloudera Manager是一个管理CDH集群端到端的应用。Cloudera Manager通过向CDH集群的每个部分提供细粒度的可见性及可控性,建立出一套企业部署标准,这可以提高性能、服务质量原创 2021-11-05 20:21:51 · 2289 阅读 · 1 评论 -
大数据原生集群 (Hadoop2.X为核心) 本地测试环境搭建六
本篇软件版本Kylin2.5.1!!!!强烈建议不要和我一样原因下面解释Datax版本忘了。。。。Mongdb_linux-x86_64-4.0.10Clickhouse原创 2020-11-19 18:49:11 · 388 阅读 · 1 评论 -
大数据原生集群 (Hadoop2.X为核心) 本地测试环境搭建五
本篇安装版本flink1.7presto 0.196druid (imply-2.7.10)Azkaban-2.5.0开始安装Flink一、解压缩 flink-1.7.2-bin-hadoop27-scala_2.11.tgz,进入conf目录中。二、修改配置1)修改 flink/conf/flink-conf.yaml 文件,里面开头位置有一个jobmanager.rpc.address,这个jobmanager所在地址集群运行的时候有rpc协议交互,我给的是hdp22)修改 con原创 2020-11-19 18:48:54 · 859 阅读 · 1 评论 -
大数据原生集群 (Hadoop2.X为核心) 本地测试环境搭建四
本篇安装版本Spark2.1Flume1.7Sqoop,要1.99之前的版本!!!sqoop比较特殊两个大版本不是同一个概念hbase-1.3.1phoenix4.11开始安装Spark1、在官网下载解压spark的安装包2、进入conf文件夹中将配置文件中的spark-env.sh.template和slaves.template末尾的“.template”去掉,并在env文件中修改如下配置export JAVA_HOME=/opt/jdk1.8.0_131/export SPARK原创 2020-11-19 18:48:21 · 345 阅读 · 1 评论 -
大数据原生集群 (Hadoop2.X为核心) 本地测试环境搭建三
本篇安装软件Hive1.2Zookeeper3.4Kafka2.11-0.10Hive安装之前我要和新人说个事,这是我很早之前,那个时候工作的公司来了个实习生,有一次聊天,和我说了一句hive是个数据库。。。。。我当时笑笑没说什么,把话题引到其他的地方上去了所以我想在这里和大数据新人说个事hive不是个数据库!!!!,它只是基于hadoop的一个提供sql化处理数据的工具而已,只是它和数据库长得很像而已,下边我们开始安装,但是我还是要强调一个小问题,就是hive是有集群的,但是我们一般不会去整因原创 2020-11-19 18:47:42 · 741 阅读 · 2 评论 -
大数据原生集群 (Hadoop2.X为核心) 本地测试环境搭建二
本篇安装软件版本hadoop2.7在安装之前我有两个注意点想送给大家,大家可以不看,但是后期再虚拟机的使用上或许对你有帮助一、在安装配置集群的时候,涉及到不同机器之间有关ip地址的设置时,一定要用域名代替ip,不代替虽然也可以,但是后续在虚拟机的移植使用上,将非常麻烦,因为正常情况下无论win还是说linux的网卡我们对其配置ip时都有着自己的内部需求和外界所处网络环境决定要使用的ip网段,但是在虚拟机中这个ip网段被虚拟机安装时,虚拟网卡,就是在cmd窗口查看ip时那块VM…8的网卡,生成的时候限制原创 2020-11-19 18:47:08 · 530 阅读 · 1 评论 -
大数据原生集群本地测试环境搭建一
前言写这个微博的目的主要是有两点,一是这是我自己在用的测试环境,虽然也有自己总结文档,但是还是在网上保留一份,以防那天文档丢失,其次另一个原因也是想和大家分享一下我自己的测试环境搭建方式,如果大家有什么好的建议可以私信我,相互学习。为了大家方便看我分了多篇进行上传,每篇涉及的安装软件都回在前面罗列版本 /手动微笑hhhh本篇软件版本虚拟机15.5.0Linux系统—Centos6(大家安装的时候可以考虑高版本)虚拟机安装虚拟机的安装我觉得大家应该都没问题,所以我就不发了哈,(内心其实因为没有准原创 2020-11-19 18:46:31 · 582 阅读 · 1 评论