Hadoop集群的搭建(结束)——修改hadoop配置文件以及启动集群服务

(3)修改 core-site.xml 文件

在配置文件中添加如下信息

fs.defaultFS

hdfs://hadoop01:9000

io.file.buffer.size

131072

hadoop.tmp.dir

file:/usr/hadoop/tmp

(4)修改 hdfs-site.xml 文件

在配置文件中添加如下信息

dfs.namenode.name.dir

file:/usr/hadoop/dfs/name

dfs.namenode.data.dir

file:/usr/hadoop/dfs/data

dfs.replication

2

(5)修改 mapred-site.xml 文件

该文件时默认不存在的,需要指令 cp mapred-site.xml.template mapred-site.xm 复制一份出来

然后添加如下信息(hadoop01是主节点的主机名)

mapreduce.framework.name

yarn

mapreduce.jobhistory.address

hadoop01:10020

mapreduce.jobhistory.webapp.address

hadoop01:19888

(6)修改 yarn-site.xml 文件

hadoop01是主节点的主机名

yarn.resourcemanager.address

hadoop01:8032

yarn.resourcemanager.scheduler.address

hadoop01:8030

yarn.resourcemanager.resource-tracker.address

hadoop01:8031

yarn.resourcemanager.admin.address

hadoop01:8033

yarn.resourcemanager.webapp.address

hadoop01:8088

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class

org.apache.hadoop.mapred.ShuffleHandler

(7)修改 masters 文件

这个文件没有的,需要创建编写,指令 vi masters

写主节点的IP地址或者主机名都可以

(8)修改 slaves 文件

这里写子节点的配置信息,IP地址或者主机名都可以,最好跟(7)一致

(9)拷贝给子节点

将配置好的配置文件的文件夹发给其他节点

[root@hadoop01 hadoop]# scp -r hadoop hadoop02:/export/servers/hadoop-2.7.3/etc/

[root@hadoop01 hadoop]# scp -r hadoop hadoop03:/export/servers/hadoop-2.7.3/etc/

(10)创建目录(主节点操作)

[root@hadoop01 hadoop]# mkdir /usr/hadoop/tmp -p

[root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/name -p

[root@hadoop01 hadoop]# mkdir /usr/hadoop/dfs/data -p

(11)赋予权限

//添加用户组

[root@hadoop01 hadoop]# groupadd hadoop

[root@hadoop01 hadoop]# useradd -g hadoop hadoop -s /bin/false

//赋予权限

[root@hadoop01 hadoop]# chown -R hadoop:hadoop /usr/hadoop/

(12)将/usr/hadoop拷贝给子节点

[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop02:/usr/

[root@hadoop01 hadoop]# scp -r /usr/hadoop/ hadoop03:/usr/

(13)配置变量(全部子节点,主节点不用)

修改/etc/profile配置文件,在文件尾部添加如下信息,指令 vi  /etc/profile

#set hadoop environment

export HADOOP_HOME=/usr/hadoop

export PATH= H A D O O P H O M E / b i n : HADOOP_HOME/bin: HADOOPHOME/bin:HADOOP_HOME/sbin:$PATH

添加完之后,输入指令使配置文件生效(全部都要)

[root@hadoop01 hadoop]# source /etc/profile

(14)权限

全部子节点按 (11) 操作赋予权限

(15)格式化(主节点上)

《设计思想解读开源框架》

第一章、 热修复设计

  • 第一节、 AOT/JIT & dexopt 与 dex2oat

  • 第二节、 热修复设计之 CLASS_ISPREVERIFIED 问题

  • 第三节、热修复设计之热修复原理

  • 第四节、Tinker 的集成与使用(自动补丁包生成)

    第二章、 插件化框架设计

  • 第一节、 Class 文件与 Dex 文件的结构解读

  • 第二节、 Android 资源加载机制详解

  • 第三节、 四大组件调用原理

  • 第四节、 so 文件加载机制

  • 第五节、 Android 系统服务实现原理

    第三章、 组件化框架设计

  • 第一节、阿里巴巴开源路由框——ARouter 原理分析

  • 第二节、APT 编译时期自动生成代码&动态类加载

  • 第三节、 Java SPI 机制

  • 第四节、 AOP&IOC

  • 第五节、 手写组件化架构

    第四章、图片加载框架

  • 第一节、图片加载框架选型

  • 第二节、Glide 原理分析

  • 第三节、手写图片加载框架实战

    第五章、网络访问框架设计

  • 第一节、网络通信必备基础

  • 第二节、OkHttp 源码解读

  • 第三节、Retrofit 源码解析

    第六章、 RXJava 响应式编程框架设计

  • 第一节、链式调用

  • 第二节、 扩展的观察者模式

  • 第三节、事件变换设计

  • 第四节、Scheduler 线程控制

    第七章、 IOC 架构设计

  • 第一节、 依赖注入与控制反转

  • 第二节、ButterKnife 原理上篇、中篇、下篇

  • 第三节、Dagger 架构设计核心解密

    第八章、 Android 架构组件 Jetpack

  • 第一节、 LiveData 原理

  • 第二节、 Navigation 如何解决 tabLayout 问题

  • 第三节、 ViewModel 如何感知 View 生命周期及内核原理

  • 第四节、 Room 架构方式方法

  • 第五节、 dataBinding 为什么能够支持 MVVM

  • 第六节、 WorkManager 内核揭秘

  • 第七节、 Lifecycles 生命周期


    本文包含不同方向的自学编程路线、面试题集合/面经、及系列技术文章等,资源持续更新中…

    《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》点击传送门,即可获取!
    架构组件 Jetpack**

  • 第一节、 LiveData 原理

  • 第二节、 Navigation 如何解决 tabLayout 问题

  • 第三节、 ViewModel 如何感知 View 生命周期及内核原理

  • 第四节、 Room 架构方式方法

  • 第五节、 dataBinding 为什么能够支持 MVVM

  • 第六节、 WorkManager 内核揭秘

  • 第七节、 Lifecycles 生命周期

    [外链图片转存中…(img-5HVHgFYG-1715833753665)]
    本文包含不同方向的自学编程路线、面试题集合/面经、及系列技术文章等,资源持续更新中…
    [外链图片转存中…(img-m4gVeu0u-1715833753667)]
    《Android学习笔记总结+移动架构视频+大厂面试真题+项目实战源码》点击传送门,即可获取!

  • 4
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值