cdh安装hadoop组件后一些常用设置

catcher92

已于 2022-09-20 10:40:11 修改

阅读量720

点赞数 1

分类专栏：大数据文章标签： hadoop 大数据 hdfs cloudera

于 2022-09-16 17:22:33 首次发布

本文链接：https://blog.csdn.net/catcher92/article/details/126885105

版权

大数据专栏收录该内容

16 篇文章 1 订阅

订阅专栏

修改hdfs和yarn pid文件路径

默认的pid文件是在/tmp下，/tmp目录下有些运维会配置定期清理历史文件，所以该pid文件也会被删除，设置到别的目录防止被删除后可能引起的问题

HADOOP_PID_DIR=/data/tmp

hdfs设置

yarn设置

运行hudi设置

在flink中通过hudi写parquet时候会用到hadoop-mapreduce-client-core.jar这个jar，所以需要添加$HADOOP_MAPRED_HOME/*到yarn.application.classpath配置中。

添加超级用户

groupadd supergroup
# root用户加入supergroup组
usermod -a -G supergroup root
# 同步系统的权限信息到HDFS
sudo -u hdfs hdfs dfsadmin -refreshUserToGroupsMappings

将root用户添加到hdfs超级用户组

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

catcher92

关注关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
cdh安装hadoop组件后一些常用设置

cdh安装hadoop组件后一些常用设置
复制链接

扫一扫

专栏目录

hdfs 的三个节点的pid文件分析

Deng0_huakai

11-12

201

pid文件默认存储在/tmp目录下 pid内容就是进程号 [hadoop@hadoop001 tmp]$ cat hadoop-hadoop-datanode.pid 9144 修改/home/hadoop/app/hadoop-2.6.0-cdh5.7.0/etc/hadoop文件夹下的hadoop-env.sh文件里面的参数。export HADOOP_PID_DIR=${HADOOP_PI...

CDH集群各组件配置

延宝小白马的博客

01-03

1595

cdh配置、大数据组件配置yarn、flume、spark、hive、hue等

参与评论您还未登录，请先登录后发表或查看评论

CDH大数据平台搭建之HADOOP分布式集群搭建

qq_41924766的博客

06-09

3892

CHD大数据平台搭建之HADOOP安装一、什么是HADOOP?二、如何下载1.官网下载2.网盘下载三、搭建集群1.准备5台虚拟机2.安装JDK3.安装ZOOKEEPER4.集群规划5.安装HADOOP6.修改配置文件1、进入配置文件目录：2、修改env文件3、修改core-site.xml文件4、修改hdfs-site.xml文件5、配置mapred-site.xml文件6、修改yarn-site.xml文件7、修改slaves文件8、分发文件9、配置环境变量四、启动集群1.启动ZOOKEEPER集群2.启

修改Hadoop的PID存储路径

code__gease的博客

03-19

1637

先停止所有Hadopp服务，进入etc/hadoop/ 修改hadoop-env.sh文件 vi hadoop-env.sh 在JAVA HOME后添加 export HADOOP_PID_DIR=/home/<username>/tmp export HADOOP_SECURE_PID_DIR=/home/<username>/tmp 再启动服务。

使用CDH版的Hadoop搭建HDFS环境

忆往昔的博客

08-12

1079

标题使用CDH版的Hadoop搭建HDFS环境点我看详细操作软件下载实验环境前置工作目录结构安装jdk搭建步骤Linux主机配置添加IP和hostname的映射关系ssh免密码登录HDFS文件参数设置（1）解压hadoop（2）hadoop目录结构介绍（3）配置文件（4）系统环境变量HDFS格式化及启停使用CDH版的Hadoop搭建HDFS环境点我看详细操作软件下载 # cdh-hadoop2.6.0 # jdk1.8 实验环境用户名：hadoop 密码：hadoop homename:had

Hadoop组件简介

08-29

"Hadoop组件简介" Hadoop是一种分布式基础架构，能够使用户在不了解分布式底层细节的情况下，开发分布式程序。Hadoop组件主要由三部分组成：HDFS（Hadoop Distributed FileSystem）、MapReduce与HBase。 1. HDFS...

cdh及其组件安装的shell脚本集合

10-22

【标题】"CDH及其组件安装的Shell脚本集合"主要涵盖了在Linux环境中部署和管理Cloudera's Distribution Including Apache Hadoop (CDH) 的一系列自动化脚本。这些脚本旨在简化CDH组件的安装、配置和维护过程，提高...

使用IDEA工具连接CDH集群里面的hive组件

10-06

本篇文章将详细介绍如何使用IDEA连接到CDH（Cloudera Distribution Including Apache Hadoop）集群中的Hive组件，以便进行Hive SQL的编写、测试和执行。首先，我们需要创建一个Java工程。在IDEA中，点击“File” -...

CDH集群常用组件关键参数及修改建议.docx

09-03

本文档主要针对CDH集群中两个重要的组件——HDFS（Hadoop Distributed File System）和YARN（Yet Another Resource Negotiator）进行深入讨论，提供关键参数的设置建议，以提升整个集群的稳定性和效率。 ### HDFS...

hadoop-cdh4.3安装文档

08-26

3. **配置YUM源**：设置CDH4的YUM仓库，这样可以方便地通过命令行安装和更新CDH组件。 4. **使用SecureCRT进行上传下载**：如果选择使用SecureCRT，可以通过SFTP功能方便地在本地和远程服务器之间传输文件。 **第三...

hadoop：HA场景下 java客户端远程访问hdfs配置

不花的花和尚的博客

08-18

1119

https://blog.csdn.net/wo198711203217/article/details/80528860?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecase&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.nonecas

cdh6.3.2 环境变量配置

星辰大数据的博客

05-18

2677

# /etc/profile # System wide environment and startup programs, for login setup # Functions and aliases go in /etc/bashrc # It's NOT a good idea to change this file unless you know what you # are doing. It's much better to create a custom.sh shell script.

编译hudi操作记录

LCriska的博客

12-30

487

记录编译hudi过程中的操作和报错

Flink1.13.3+Hudi0.10.1+CDH6.3.2(Hadoop3.0.0+Hive2.1.1)，使用FlinkClient执行FlinkSql的方式

m0_61172266的博客

09-27

1180

Flink1.13.3+Hudi0.10.1+CDH6.3.2(Hadoop3.0.0+Hive2.1.1)，使用FlinkClient执行FlinkSql的方式

CDH 配置 HADOOP_CLASSPATH

mc的博客

06-02

2832

如何配置HADOOP_CLASSPATH

CDH6.3.2编译安装Hudi0.9

someInNeed的博客

02-21

2173

1.准备编译环境 1)Maven安装（1）把apache-maven-3.6.1-bin.tar.gz上传到linux的/data/software目录下（2）解压apache-maven-3.6.1-bin.tar.gz到/data/module/目录下面 tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /data/module/ （3）修改apache-maven-3.6.1的名称为maven （4）添加环境变量到/etc/profile中 .

虚拟机配置Hadoop

尤词的博客

05-30

3277

前言记录hadoop配置全过程以备不时之需提示：以下是本篇文章正文内容，下面案例可供参考一、配置网络信息 1.修改配置信息 vi /etc/sysconfig/network-scripts/ifcfg-eth0 //编辑文件内容如下,最后一行和倒数第三行的网段可以随便写，符合标准即可 DEVICE=eth0 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=static IPADDR=192.168......

第1节 hudi 0.9编译 CDH6.3.2环境

等夏天

10-08

1557

1.准备编译环境 1) Maven安装（1）把apache-maven-3.6.1-bin.tar.gz上传到linux的/data/software目录下（2）解压apache-maven-3.6.1-bin.tar.gz到/data/module/目录下面 tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /data/module/ （3）修改apache-maven-3.6.1的名称为maven （4）添加环境变量到/etc/profile中

基于数据湖的流批一体：flink1.15.3与Hudi0.12.1集成，并配置基于CDH6.3.2的hive catalog