Linux配置静态IP，映射，配置jdk，hadoop，Hadoop集群配置及启动

最新推荐文章于 2023-11-05 16:37:20 发布
最新推荐文章于 2023-11-05 16:37:20 发布
阅读量2.8k 收藏 7
点赞数 6
文章标签： hadoop big data hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cq_run/article/details/121921217
版权

目录

 修改主机名

配置映射

获取网关

配置网关，ip地址

重启网卡

 免密登录

 解压jdk到src文件夹下

修改jdk1.8.0_311 名字为jdk

解压Hadoop到src文件夹下

修改hadoop-2.7.7 名字为hadoop

jdk配置环境变量

配置hadoop环境变量

让已配置的环境变量生效

启动Java，Hadoop检查一下是否配置成功

进入hadoop目录

编辑hadoop-env.sh文件

 编辑core-site.xml文件

 编辑hdfs-site.xml文件

 编辑mapred-site.xml文件

编辑yarn-site.xml文件

添加主机名。删除默认的localhost

将集群主节点的环境变量拷贝到另外两台子节点上

将环境变量拷贝到另外两台主机

使环境变量立即生效

将Hadoop，jdk整个文件拷贝并覆盖到另外两台子节点

Hadoop集群测试

格式化hadoop命令

关闭防火墙

全部启动

输入jps查看

 在浏览器上方输入ip地址加端口号查看

 修改主机名

vim /etc/hostname

slave

配置映射

#三台机器一样
vim /etc/hosts

192.168.196.130 slave
192.168.196.131 slave1
192.168.196.132 slave2

获取网关

nmcli device show

配置网关，ip地址

vim /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"      #设置为静态IP模式
DEFROUTE="yes" 
IPADDR="192.168.196.130"    #设置静态IP
NETMASK="255.255.255.0"   #设置子网掩码
DNS1="192.168.196.2"      #设置DNS地址
GATEWAY="192.168.196.2"   #设置网关
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="enp3s0"
UUID="ddc227be-8516-4d71-8890-c550d764ef11"
DEVICE="enp3s0"
ONBOOT="yes"            #开机生效

重启网卡

service network restart

 免密登录

#按三次回车
ssh-keygen -t rsa
ssh-copy-id slave    #第一台主机名
ssh-copy-id slave1    #第二台主机名
ssh-copy-id slave2    #第三台主机名

以上结束之后在另外两台机器各自配一遍，然后输入

ssh slave1

如果可以直接登入，说明配置成功

 解压jdk到src文件夹下

tar zxvf /h3cu/jdk-8u311-linux-x64.tar.gz -C /usr/local/src/

修改jdk1.8.0_311 名字为jdk

mv  /usr/local/src/jdk1.8.0_311 /usr/local/src/jdk

解压Hadoop到src文件夹下

tar zxvf /h3cu/hadoop.2.7.7.tar.gz -C /usr/local/src/

修改hadoop-2.7.7 名字为hadoop

mv /usr/local/src/hadoop.2.7.7/usr/local/src/hadoop

jdk配置环境变量

vim /root/.bash_profile
添加以下变量路径
#jdk
export JAVA_HOME=/usr/local/src/jdk
PATH=.:$JAVA_HOME:$JAVA_HOME/bin:$PATH:$HOME/bin

配置hadoop环境变量

vim /root/.bash_profile
#hadoop
export HADOOP_HOME=/usr/local/src/hadoop
PATH=.:$JAVA_HOME:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH:$HOME/bin

让已配置的环境变量生效

source /root/.bash_profile

启动Java，Hadoop检查一下是否配置成功

进入hadoop目录

cd /usr/local/src/hadoop/etc/hadoop

编辑hadoop-env.sh文件

vim hadoop.env.sh
#把export JAVA_HOME改为

export JAVA_HOME=/usr/local/src/jdk

 编辑core-site.xml文件

vim core-site.xml
#翻到最下面
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://slave:9000</value>
        </property>
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/usr/local/src/hadoop/tmp</value>
        </property>
</configuration>

 编辑hdfs-site.xml文件

vim hdfs-site.xml
#翻到最下面
<configuration>
        <property>
                <name>dfs.nameservices</name>
                <value>slave</value>    #主机名
</configuration>

 编辑mapred-site.xml文件

vim mapred-site.xml
#翻到最下面
<configuration>
        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>
</configuration>

编辑yarn-site.xml文件

vim yarn-site.xml
#翻到最下面
<configuration>

<!-- Site specific YARN configuration properties -->
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>slave</value>    #主机名
        </property>
        <property>
                <name>yarn.nodemanager.aux-service</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

添加主机名。删除默认的localhost

vim slaves
slave        #第一台主机名
slave1       #第二台主机名
slave2       #第三台主机名

将集群主节点的环境变量拷贝到另外两台子节点上

将环境变量拷贝到另外两台主机

scp -r /root/.bash_profile slave1:/root/.bash_profile
scp -r /root/.bash_profile slave2:/root/.bash_profile

使环境变量立即生效

source /root/.bash_profile

将Hadoop，jdk整个文件拷贝并覆盖到另外两台子节点

scp -r /usr/local/src/ slave1:/usr/local/
scp -r /usr/local/src/ slave2:/usr/local/

Hadoop集群测试

格式化hadoop命令

hdfs namenode -format

关闭防火墙

临时关闭防火墙

systemctl stop firewalld

彻底关闭防火墙

systemctl disable firewalld.service

全部启动

cd /usr/local/src/hadoop/sbin
start-all.sh

输入jps查看

 在浏览器上方输入ip地址加端口号查看

cq_run
关注
linux配置Hadoop
09-21
Linux 配置 Hadoop ...Linux 配置 Hadoop 需要完成 Linux 系统安装、JDK 安装、集群搭建、Hadoop 安装和配置、HDFS 配置等多个步骤。每个步骤都需要具备相关的知识点和技能，以确保 Hadoop 集群的正确配置和运行。
hadoop3.2.2安装
m0_37813354的博客
05-10 2470
参考：https://zhuanlan.zhihu.com/p/116394945 1 准备机器 集群规划 ip hostanem 配置 服务 192.168.109.151 node1 2c8g master 192.168.109.152 node2 2c4g 192.168.109.153 node3 2c4g 2 给普通用户liucf sudo 权限 三...
解决hadoop集群的映射配置问题（Linux：hosts，hostname，windows：hosts）；解决文件信息上传不到web问题；解决host文件保存不了的问题。
最新发布
weixin_73929634的博客
11-05 785
最后总结一下映射的流程：1.在Linux系统的hostname里写入虚拟机名字，2.在Linux系统的hosts文件写入ip地址和虚拟机名字，3.在windows系统的hosts文件写入ip地址和虚拟机名字。2.虚拟机名字查看：在xshell使用语句vi /etc/hostname的文件里既可以看到虚拟机的名字，若没有，则自己编写一个，但是要记住后面会用到。3.将ip地址与虚拟机名字写入文件hosts：在xshell使用语句vi /etc/hosts在文件里编写ip地址和虚拟机名字，格式如下。
Linux 系统安装JDK、Tomcat，mysql
韩利巍
03-02 411
1、准备好需要安装的jdk,tomcat,将文件上传到 /usr/local/temp 2、解压上传好的JDK、TOMCAT 到 /usr/local/temp 3在 /usr/local 下分别建立 jdk 和tomcat 文件夹 4、把减压到的文件分别移动到对应的 /usr/local/jkd 和 /usr/local/tomcat 文件中 一、JDK配置 把压缩文件上传到/usr/local/tmp中 解压压缩文件 # tar zxvf jdk-7u80-linux-...
linux中怎么根据java内存地址映射资源
u014078887的博客
12-25 458
写在前面，上周五布置渠道服务器，起初四个区服，周六一天都没有意外。周日新增五个区服，从此开始了一场噩梦，区服频繁崩溃。linux崩溃之后几乎不能登陆，shell也几乎无法执行，绝大多数情况下只能通过云服后台重启。上线排查问题，报错日志只有一个，没有资源启动线程。监控linux线程数量，会持续增长到12000个以上，耗尽了资源之后就崩溃。考虑到线上已经运营，只能先扔一个监控线程并且自起的shell脚...
linux之文本操作命令
why404
12-19 269
cat查看文件内容 more file:分屏显示，空格显示下一页，显示完退出，无法回滚 less file:分屏显示，空格显示下一页显示完没有退出，b键可回滚 head file ：显示file文件前10行的文本内容 head -5 file ：显示file文件的前5行内容 tail file :显示file文件前10行的文本内容 tail -5 file :显示file文...
大数据实践-hadoop集群安装与配置.doc
04-17
"大数据实践-Hadoop集群安装与配置" 本文档旨在指导用户实践Hadoop集群的安装和配置，涵盖了从环境搭建到Hadoop集群的安装和配置的所有步骤。通过实践本项目，用户可以初步掌握Hadoop集成环境的搭建和配置。 一、...
hadoop环境配置（单机集群）
04-18
### Hadoop环境配置详解——单机集群篇 #### 一、引言 随着大数据时代的到来，Hadoop作为处理海量数据的利器，其重要性不言而喻。本文旨在详细介绍如何在虚拟机上安装Hadoop环境，并搭建单机集群。通过图文并茂的...
在Ubuntu上配置Hadoop集群
09-20
### 在Ubuntu上配置Hadoop集群的关键知识点 #### 一、任务概述 本文档旨在指导用户如何在Ubuntu系统上搭建一个分布式的Hadoop集群。通过详细的操作步骤和注意事项，确保读者能够顺利地完成集群的配置。 #### 二、...
Linux系统配置jdk
热门推荐
二哈喇子！
02-26 2万+
Linux系统配置jdk Linux学习教程，Linux入门教程（超详细）
Hadoop环境搭建
JY631591678的博客
05-25 901
1. Hadoop运行环境搭建 1.1 虚拟机环境准备 1. 克隆虚拟机 2. 修改克隆虚拟机的静态IP 3. 修改主机名 4. 关闭防火墙 5. 创建shenyang用户 6. 配置shenyang用户具有root权限（详见我的另外一篇博客博客地址） 7．在/opt目录下创建文件夹 （1）在/opt目录下创建module、software文件夹 ...
Linux系统下的hadoop完全分布式系统的配置
m0_64445892的博客
04-09 4361
一、安装VMware VMware的安装 二、centos的安装 最好安装centos x7的 centos的安装 三、根据hadoop伪分布式的搭建，完全分布式使用hadoop104克隆出来的hadoop101，hadoop102，hadoop103来设置集群。 （一）、同时启动hadoop101,102,103。 （二）、对主机进行改动 1.将其ip地址改动为 ip addr # 查看IP地址 vi /etc/sysconfig/network-scripts/ifcfg-ens33 # 修
Hadoop学习笔记_linux网络配置及静态ip设置
世界那么大，我想去看看！
08-13 371
  学习Hadoop，会配置Hadoop集群，学习阶段，不可能为了学习购买多台实体机，因此可以采取使用虚拟机的方式，虚拟机软件有很多，例如：VMWare，VirtualBox等。在此，我们使用VMWare来进行虚拟多台机器。 VMWare安装过程网上有很多教程，在此就不多做介绍。我使用的电脑是win7旗舰版x64操作系统，安装完VMWare之后，电脑上会出现两个虚拟网卡VMware Networ...
Linux系统上安装hadoop及环境配置
NFstriving的博客
02-25 1870
一、下载hadoop压缩包 在此网站下载你需要的hadoop压缩包，我下载的是hadoop-2.7.2.tar.gz。 二、安装步骤 1.创建hadoop的安装目录 执行命令mkdir /opt/hadoop。 2.切换到刚刚创建的目录 执行命令cd /opt/hadoop。 3.将压缩包上传至此目录 使用xftp软件或linux上的lrzsz上传压缩包到此目录。 4.解压压缩包到此目录 执行命令tar -zxf 压缩包的路径，这样是解压到当前目录下，也可以解压到指定目录tar -zxf 压缩包的路径 -
Linux安装jdk详细步骤
Bejpse的博客
03-22 871
Linux的使用相信大家都要用到java吧！在使用java前我们得先安装jdk以及配置环境变量等工作；下面小编给大家分享关于Linux安装jdk的详细步骤： 一、登录虚拟机进入终端切换到root用户，输入：su 接着输入密码 再输入：cd … 回到root用户 二、查看Linux系统是否有自带的jdk： 1、输入：java -version 2、发现有输入：rpm -qa | grep java 检测jdk的安装包，（注意：rpm命令符没有时记得下载一个输入：apt-get install +命令名称）
hadoop配置之设置静态ip
l2014204559的博客
12-13 3092
主要有两种方法：           1.通过图形化界面（此处省略）            2.，命令行           
Linux中配置JDK
小火车况且况且况且的博客
11-05 191
Linux中配置JDK----本文演示的是jdk11.0.9版本 ----- 首先下载好对应的JDK 编程宝库 - 技术改变世界可以选择这个地址下载,但是是百度网盘的链接 起码比Oracle 的官网快那么一点点 使用工具链接linux服务器系统,创建指定的文件夹 mkdir /opt/jdk 使用工具进行SFTP链接,上传刚才下载的jdk到/opt/jdk中 在/opt/jdk文件夹中解压tar -zxvf jdk-11.0.9_linux-x64_bin.tar.gz 将解压出来的文件移动
hadoop搭建之静态ip配置
To-nemy
10-23 3082
1，开始时为了保证ip不发生改变，所以为了解决必要的麻烦，设置了静态ip 2，编辑ifup-eno1 命令【vim /etc/sysconfig/network-scripts/ifup-eno1】 配置内容如下：（主要看红色的） DEVICE=eth0 //设备名称，不要修改 BOOTPROTO=static BROADCAST=10.10.22.255 //广播
Linux-Hadoop集群配置与安装步骤详解
3. /etc/hosts 文件配置：在Master节点的/etc/hosts文件中添加静态IP映射，方便后续的网络通信。 接下来，虽然这部分笔记没有详细列出在其他节点（Node2和Slaves）的具体配置步骤，但可以推断出它们的配置与Master...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值