Hadoop集群配置文件

知识点:

hdfs---分布式文件系统   

namenode datanode

MapReduce---分布式计算框架

yarn---资源调度管理平台   

resourcemanager nodemanager

secondarynamenode

Masterslave1slave2
namenodedatanodedatanode
datanoderersourcemanager nodemanager
nodemanagernodemanagersecondarynamenode

1.查看module下文件

2.进入hadoop-3.1.4下查看

3.创建目录data并查看

4.进入etc下并查看

5.进入hadoop下并查看

6.修改core-site.xml文件

代码如下:

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://Master:8020</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/module/hadoop-3.1.4/data</value>
</property>
<property>
<name>hadoop.http.staticuser.user</name>
<value>root</value>
</property>
</configuration>

7.修改hdfs-site.xml文件

代码如下:

<configuration>
<property>
<name>dfs.namenode.http-address</name>
<value>Master:9870</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>slave2:9868</value>
</property>
</configuration>

8.修改mapred-site.xml文件

代码如下:

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>Master:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>Master:19888</value>
</property>
</configuration>

9.修改yarn-site.xml文件

代码如下:

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>slave1</value>
</property>
</configuration>

10.修改workers文件

代码如下:

Master
slave1
slave2

11.添加修改环境变量相关设置

代码如下:

export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root

  • 10
    点赞
  • 6
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
要在Linux下使用ZooKeeper同步Hadoop集群配置文件,可以按照以下步骤进行实际操作: 1. 安装和配置ZooKeeper:在每个节点上安装和配置ZooKeeper服务器。确保每个节点的ZooKeeper配置文件(通常是`zoo.cfg`)都指向相同的ZooKeeper集群。 2. 创建一个用于存储Hadoop配置的ZooKeeper znode:使用ZooKeeper客户端连接到任意一个ZooKeeper节点,并创建一个用于存储Hadoop配置的znode。例如,你可以执行以下命令: ``` $ zkCli.sh -server <zookeeper_server>:<port> [zk: <zookeeper_server>:<port>(CONNECTED) 0] create /hadoop-config "" ``` 这将在ZooKeeper根目录下创建一个名为`hadoop-config`的znode。 3. 将Hadoop配置文件上传到ZooKeeper:将你想要同步的Hadoop配置文件上传到ZooKeeper znode中。你可以使用ZooKeeper客户端的`set`命令来实现。例如,假设你想上传`core-site.xml`文件,可以执行以下命令: ``` [zk: <zookeeper_server>:<port>(CONNECTED) 1] set /hadoop-config/core-site.xml "@/path/to/core-site.xml" ``` 这将将`core-site.xml`文件的内容设置为znode的值。 4. 在Hadoop配置中使用ZooKeeper路径:在Hadoop集群的每个节点上,将Hadoop配置文件中相关的配置项修改为ZooKeeper路径。例如,在`core-site.xml`中,将`fs.defaultFS`的值修改为`zookeeper://<zookeeper_server>:<port>/hadoop-config/core-site.xml`。 ``` <property> <name>fs.defaultFS</name> <value>zookeeper://<zookeeper_server>:<port>/hadoop-config/core-site.xml</value> </property> ``` 这样,Hadoop集群的所有节点都将使用ZooKeeper中的配置文件进行配置。 5. 启动Hadoop集群:启动Hadoop集群的各个组件,它们将从ZooKeeper中获取配置信息并进行相应的配置。 通过这些步骤,你可以使用ZooKeeper同步Hadoop集群配置文件,确保所有节点使用相同的配置信息。当你需要更新配置时,只需上传新的配置文件到ZooKeeper znode中,并重启Hadoop集群,它们将自动获取到新的配置。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值