坚哥笔记

有时集群可能与现有端口冲突，或者出于安全考虑会要修改默认端口或存储。下面列出了整理的常用配置项。 一、修改默认端口 涉及组件 配置项 默认端口 修改后端口 配置文件 zookeeper 端口 2181 123XX zkui 9093 123XX /app/zkui/config.cfg hadoop namenode的web访问 9870 123XX hdsf-site.xml / dfs.namenode.http-address.mycluster.nn1 hadoop

HBase作为Hadoop家族中实现高并发的利器，我们来看看怎么进行集成。 1. 下载并上传到服务器 目前使用2.3.5版本 wget https://mirrors.bfsu.edu.cn/apache/hbase/2.3.5/hbase-2.3.5-bin.tar.gz #wget https://mirrors.bfsu.edu.cn/apache/hbase/2.4.4/hbase-2.4.4-bin.tar.gz 2. 解压 tar zxvf hbase-2.3.5-bin.tar.gz -C

在离线数仓方面，Spark现在所占据的地位勿庸置疑。我们来看看如何在Hadoop3.x中集成Spark。 1. 下载与解压 从镜像站下载 下载地址，选择3.0.2版本。上传到服务器后解压到/app目录下 tar zxvf spark-3.0.2-bin-hadoop3.2.tgz -C /app # 修改目录名 cd /app # mv spark-3.0.2-bin-hadoop3.2 spark-3.0.2 ln -s spark-3.0.2-bin-hadoop3.2 spark 2. 修改配置 1

集群规划 本次安装拟使用的各软件版本如下 CentOS 7.6 Zookeeper 3.6.3 Hadoop 3.2.2 Hive 3.1.2 Spark 3.0.2 Sqoop 1.4.7 MySQL 8.0.21 机器规划 机器名称 zookeeper journalnode namenode datanode yarn mysql hive spark hadoop101 Y Y Y Y Y Y Y Y hadoop102 Y Y Y Y Y Y hadoop1

1. 查看机器情况 从图中可看出，只有vda1和vdj1挂载到了系统中，其余硬盘仍未挂载。 本次拟将vdg、vdh和vdi三块盘挂载到系统中 2. 硬盘分区 使用fdisk分区 注: 输入： n 新建一个分区 p 设定为主分区 回车 格式化整个盘 w 保存分区设置 因为硬盘超过2T，不能使用fdisk分区，故采用parted 2. 使用parted分区，阿里云默认已经装过不需要再装 sudo yum install -y parted 3.使用parted进行分区操作 sudo parted /dev