![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
系统运维
文章平均质量分 76
阿坚87
这个作者很懒,什么都没留下…
展开
-
Hadoop3.x修改默认配置
有时集群可能与现有端口冲突,或者出于安全考虑会要修改默认端口或存储。下面列出了整理的常用配置项。一、修改默认端口涉及组件配置项默认端口修改后端口配置文件zookeeper端口2181123XXzkui9093123XX/app/zkui/config.cfghadoopnamenode的web访问9870123XXhdsf-site.xml / dfs.namenode.http-address.mycluster.nn1hadoop原创 2021-11-17 09:00:32 · 639 阅读 · 0 评论 -
Hadoop3.x集成HBase
HBase作为Hadoop家族中实现高并发的利器,我们来看看怎么进行集成。1. 下载并上传到服务器目前使用2.3.5版本wget https://mirrors.bfsu.edu.cn/apache/hbase/2.3.5/hbase-2.3.5-bin.tar.gz#wget https://mirrors.bfsu.edu.cn/apache/hbase/2.4.4/hbase-2.4.4-bin.tar.gz2. 解压tar zxvf hbase-2.3.5-bin.tar.gz -C原创 2021-11-14 08:05:13 · 1933 阅读 · 0 评论 -
Hadoop3.x集成Spark
在离线数仓方面,Spark现在所占据的地位勿庸置疑。我们来看看如何在Hadoop3.x中集成Spark。1. 下载与解压从镜像站下载 下载地址,选择3.0.2版本。上传到服务器后解压到/app目录下tar zxvf spark-3.0.2-bin-hadoop3.2.tgz -C /app# 修改目录名cd /app# mv spark-3.0.2-bin-hadoop3.2 spark-3.0.2ln -s spark-3.0.2-bin-hadoop3.2 spark2. 修改配置1原创 2021-11-13 16:56:22 · 2376 阅读 · 0 评论 -
Hadoop3x高可用集群配置手册
集群规划本次安装拟使用的各软件版本如下CentOS 7.6Zookeeper 3.6.3Hadoop 3.2.2Hive 3.1.2Spark 3.0.2Sqoop 1.4.7MySQL 8.0.21机器规划机器名称zookeeperjournalnodenamenodedatanodeyarnmysqlhivesparkhadoop101YYYYYYYYhadoop102YYYYYYhadoop1原创 2021-11-11 15:11:39 · 1246 阅读 · 2 评论 -
阿里云CentOS添加硬盘
1. 查看机器情况从图中可看出,只有vda1和vdj1挂载到了系统中,其余硬盘仍未挂载。本次拟将vdg、vdh和vdi三块盘挂载到系统中2. 硬盘分区使用fdisk分区注:输入:n 新建一个分区p 设定为主分区回车 格式化整个盘w 保存分区设置因为硬盘超过2T,不能使用fdisk分区,故采用parted2. 使用parted分区,阿里云默认已经装过不需要再装sudo yum install -y parted3.使用parted进行分区操作sudo parted /dev原创 2021-07-06 16:06:41 · 262 阅读 · 0 评论