Linux中Hadoop的环境搭建

最新推荐文章于 2024-07-03 11:33:10 发布
最新推荐文章于 2024-07-03 11:33:10 发布
阅读量199 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38983002/article/details/100912189
版权

一：下载安装 Hadoop

1.1：下载指定的Hadoop

 

1.2：通过XFTP把文件上传到master电脑bigData目录下

1.3：解压hadoop压缩文件

tar -xvf hadoop-2.8.0.tar.gz

 

1.4：进入压缩文件之后 复制路径

 

/bigData/hadoop-2.8.0

 

 

 

 

1.5：配置Hadoop的环境变量

 

vim /etc/profile

 

export HADOOP_HOME=/bigData/hadoop-2.8.0

export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

之后让文件生效

source /etc/profile

 

 

 

 

二：Hadoop集群的配置

2.1:进入hadoop的配置文件位置

cd hadoop2.8.0/etc/hadoop/

2.2:配置hadoop-env.sh文件

 

 

 

 

 

 

 

 

 

01.vim hadoop-env.sh

02.在文件中加入

export JAVA_HOME=/bigData/jdk1.8.0_121

 

 

 

 

2.3:配置yarn-env.sh文件

01.vim yarn-env.sh

02.在文件中加入

export JAVA_HOME=/bigData/jdk1.8.0_121

 

 

 

 

2.4:配置slaves文件，增加slave主机名或者IP地址

01.vim slaves

 

02.在文件中加入

slave1

slave2 ， 删除原有的localhost

2.5:配置core-site.xml文件

01.vim core-site.xml

02.在文件中的configuration节点里加入

<property>

   <name>fs.defaultFS</name>

   <value>hdfs://master:9000</value>

</property>

 

  <property>

     <name>hadoop.tmp.dir</name>

     <value>/bigData/hadoop-2.8.0/tmp</value> 

</property>

 

2.6:配置hdfs-site.xml文件

<property>

      <name>dfs.namenode.secondary.http-address</name>

      <value>master:50090</value>

    </property>

    <property>

      <name>dfs.replication</name>

      <value>2</value>

    </property>

    <property>

      <name>dfs.namenode.name.dir</name>

      <value>file:/bigData/hadoop-2.8.0/hdfs/name</value>

    </property>

    <property>

      <name>dfs.datanode.data.dir</name>

      <value>file:/bigData/hadoop-2.8.0/hdfs/data</value>

    </property>

 

2.7:配置yarn-site.xml文件

 

  <property>

          <name>yarn.nodemanager.aux-services</name>

          <value>mapreduce_shuffle</value>

  </property>

  <property>

           <name>yarn.resourcemanager.address</name>

           <value>master:8032</value>

  </property>

  <property>

          <name>yarn.resourcemanager.scheduler.address</name>

          <value>master:8030</value>

  </property>

<property>

<name>yarn.log-aggregation-enable</name>

<value>true</value>

</property>

<property>

         <name>yarn.resourcemanager.resource-tracker.address</name>

         <value>master:8031</value>

     </property>

     <property>

         <name>yarn.resourcemanager.admin.address</name>

         <value>master:8033</value>

     </property>

     <property>

         <name>yarn.resourcemanager.webapp.address</name>

         <value>master:8088</value>

     </property>

 

2.8:配置mapred-site.xml文件

 

mapred-site.xml.template 是存在的

mapred-site.xml不存在

注意：先要copy一份

cp mapred-site.xml.template mapred-site.xml

然后编辑

vim mapred-site.xml

 

 

 

 

新增以下内容

<property>

    <name>mapreduce.framework.name</name>

    <value>yarn</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.address</name>

    <value>master:10020</value>

  </property>

  <property>

    <name>mapreduce.jobhistory.webapp.address</name>

    <value>master:19888</value>

  </property>

 

2.9:把配置好的hadoop文件复制到其他的子机器中

 

scp -r /bigData/hadoop-2.8.0 root@slave1:/bigData/

 

scp -r /bigData/hadoop-2.8.0 root@slave2:/bigData/

 

2.10:把配置好的/etc/profile复制到其他两个子机器中

 

scp /etc/profile root@slave1:/etc/profile

scp /etc/profile root@slave2:/etc/profile

 

之后在每个子机器中使用 source /etc/profile 使文件生效

 

2.11:在master 主机器中运行

hdfs namenode -format

 

 

2.12:在master 主机器中启动hadoop环境

进入/bigData/hadoop-2.8.0/sbin

 

./start-all.sh 启动hadoop集群

 

./stop-all.sh 关闭hadoop集群

璀璨的星河
关注
【详细版】Linux系统中搭建Hadoop
weixin_55928290的博客
11-01 4844
修改core-site.xml文件，分别指定hdfs 协议文件系统的通信地址及hadoop 存储临时文件的目录。进入/opt/server/hadoop-3.3.4/etc/hadoop 目录下，修改以下配置。进入 ~/.ssh 目录下，查看生成的公匙和私匙，并将公匙写入到授权文件。Hadoop 3中不允许使用root用户来一键启动集群，需要配置启动用户。进入 ${HADOOP_HOME}/sbin/ 目录下，启动 YARN。切换/opt/tools目录下，rz上传Hadoop安装包。
Linux环境下配置Hadoop环境
weixin_40165317的博客
10-24 779
Linux：centOS 7 jdk：1.8 准备： 1. 关闭三台服务器的防火墙： systemctl stop firewalld.service 开机时禁止启动防火墙： systemctl disable firewalld.service 查看防火墙状态： firewall-cmd --state 一. 配置Hadoop环境 Java的环境配置不多赘述了，可以参考...
Hadoop0.20.2版本在Ubuntu10下安装和配置
u013646747的博客
06-28 215
1、安装JDK　　（1）下载安装JDK：确保计算机联网之后命令行输入下面命令安装JDK　　     sudo apt-get install sun-java6-jdk　　（2）配置计算机Java环境：打开/etc/profile，在文件最后输入下面内容　　     export JAVA_HOME = （Java安装目录）　　     export CLASSPATH = ".:$JAVA_HO...
linux下hadoop 环境搭建
l576754326的博客
12-29 2114
准备 3台linux 分别hostname为: node-1,node-2,node-3 vi /etc/sysconfig/network HOSTNAME=yourhostname #保存 hostname yourhostname hostname 安装 JDK 并配置 环境变量 通过xshell等ssh 工具 查看3台机子的时间是否一致(需通过成一致的时间) xshell 查看-撰写-撰写窗口-全部会话(可以在敲一遍命名 在所有窗口生效) Vi /etc/hosts 12..
Linux环境Hadoop环境搭建
baidu_38216965的博客
11-26 1364
在安装Hadoop之前，要求先预装： 1- 安装JDK 8 2- 下载Hadoop,下载地址如下： https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/ 开始部署： 1.将下载完成的压缩包传输到Liunx服务器。 2.解压Hadoop压缩包 tar -xvf hadoop-3.2.2.tar.gz 3.配置环境变量 在 /etc/profile 文件中加入以下内容： 1) 编辑profile文件： vim /ect/profile 2) 在文
linux下Hadoop集群环境搭建
04-20
在Linux环境下搭建Hadoop集群是一项复杂但至关重要的任务，它为大数据处理提供了强大的分布式平台。以下将详细介绍如何在一台虚拟机上安装多台Linux服务节点，并构建Hadoop集群环境。 首先，我们需要准备一个基础...
Linux下Hadoop开发环境搭建详解
最新发布
11-10
内容概要：本文详细介绍了如何在 Linux 系统上搭建 Hadoop 开发环境，从环境准备到配置完成，包括 Java 安装、Hadoop 下载与安装、配置文件修改、SSH 无密码登录设置、Namenode 格式化、服务启动与验证等步骤。...
linux下搭建hadoop环境步骤分享
01-20
、tar xvzf hadoop-0.20.2.tar.gz3、安装JDK，从oracle网站上直接下载JDK，地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586....
hadoop环境搭建，机器部署以及 Linux 常用命令操作指南
07-01
hadoop 环境搭建、机器部署以及 Linux 常用命令操作指南 本指南将指导用户从头开始搭建 Hadoop 环境，包括虚拟机环境的准备、Linux 基础知识、shell 增强大数据集群环境准备、ZooKeeper 介绍及集群操作网络编程等...
Hadoop 集群环境搭建
若北辰
12-20 1456
大数据无非两个问题，如何存放数据，数据如何计算 存放数据用的就是Hadoop中的HDFS，进行分布式存储 数据计算就是用的Hadoop中的MapReduce，进行分布式计算 Hive 就是SQL on Hadoop,Hive数据存储在HDFS上，Hive查询最终转化为MapReduce spark是基于内存的计算，MapReduce是基于磁盘的计算，所以spark的卖点就是快，甚至能快100倍 spark中也有SQL，spark SQL spark流处理：streaming MLlib：机器学习 图处理
linux搭建hadoop环境
北暖的博客
02-28 1128
一、搭建思路 1. 拥有配置好的Linux操作系统 2. 将hadoop2.7.2.tar.gz 和jdk1.8.0_144.tar.gz 3. 配置jdk和hadoop的环境变量 4. 配置hadoop的相关配置 5. 启动并且访问web页面 二、环境说明 1. 物理机win10系统 2. 虚拟机LinuxCentOS6.10 3. Hadoop版本 hadoop2.7.2 4.jdk版本 j...
Linux环境下搭建hadoop环境
THanHan的博客
06-29 479
一，安装jdk和hadoop 1，通过Xftp 6将软件包传到虚拟机上 2，解压软件包 tar -zxvf 需要解压的包名 -C /usr/local 3，配置环境 vim /etc/profile jdk： export JAVA_HOME=路径 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib:$CLASSPATH export JAVA_PATH=${JAVA_HOME}/bin:$
Linux下搭建Hadoop环境
weixin_36699299的博客
03-12 318
安装jdk 解压 tar -zxvf jdk-8u171-linux-x64.tar.gz - C/usr/local 设置环境变量 vim /etc/profile 在结尾加入 export JAVA_HOME=/usr/local/jdk1.8 export PATH=.:${JAVA_HOME}/bin:$PATH 使配置生效 source /etc/profile 测试 ...
Linux系统下Hadoop开发环境的搭建
tianda_lt的专栏
08-10 612
本文主要讲解如何在Ubuntu14.04下搭建Hadoop开发
【Linux】—Hadoop运行环境搭建（完全分布式）
sodaloveer的博客
07-03 1459
【Linux】—Hadoop运行环境搭建（完全分布式）
超详细，linux虚拟机的下的hadoop环境搭建
linfan1571519609的博客
04-15 8024
一、虚拟机网络配置 1、查看ip地址 ifconfig 2、关闭系统防火墙命令 systemctl stopfirewalld.service 3、关闭系统防火墙自启动命令 systemctl disable firewalld.service 4、关闭“SELinux”服务命令 setenforce 0 5、关闭“SELinux”系统自启动服务 vi /etc/selinux/config 修改内容为：SELINUX=disabled （按i键进入编辑状态，修改完后按...
从 Linux 安装到 Hadoop 环境搭建全过程
奇妙的代码
07-01 8010
从 Linux 的最小化安装到 Hadoop 环境的搭建，尽可能详尽介绍每个步骤。
Hadoop搭建（Linux）
qq_42373068的博客
03-28 516
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 原文链接：https://blog.csdn.net/catinlbb/article/details/110159895 因为今天安装时候发现完全按照上述这篇大佬写的文章有些地方会出问题，所以整理了一下现在安装Hadoop的一些注意点和步骤，基本流程与上述一致。【2022.3.28】 目录 版本信息1 安装JDK2 安装Hadoop3 修改Hadoop配置文件4 配置ssh免密登录5 启动Hadoop
Hadoop环境搭建（保姆级教学）
R.W.Y的博客
06-03 9515
HADOOP环境搭建过程详解
Linux中Hadoop环境搭建
06-12
搭建Hadoop环境需要以下步骤： 1. 安装Java环境：Hadoop运行需要Java环境，执行以下命令安装： ``` sudo apt-get update sudo apt-get install default-jdk ``` 2. 下载Hadoop：从官网下载Hadoop二进制文件，或使用以下命令下载： ``` wget https://downloads.apache.org/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz ``` 3. 解压Hadoop：执行以下命令解压Hadoop： ``` tar -xzf hadoop-3.3.1.tar.gz ``` 4. 配置Hadoop环境变量：编辑/etc/profile文件，添加以下内容： ``` export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 然后执行以下命令使配置生效： ``` source /etc/profile ``` 5. 配置Hadoop集群：编辑hadoop-3.3.1/etc/hadoop/core-site.xml文件，添加以下内容： ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 编辑hadoop-3.3.1/etc/hadoop/hdfs-site.xml文件，添加以下内容： ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/path/to/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/path/to/hdfs/datanode</value> </property> </configuration> ``` 6. 格式化Hadoop文件系统：执行以下命令格式化Hadoop文件系统： ``` hdfs namenode -format ``` 7. 启动Hadoop服务：执行以下命令启动Hadoop服务： ``` start-dfs.sh start-yarn.sh ``` 执行以下命令查看服务状态： ``` jps ``` 如果看到以下进程，则表示Hadoop服务启动成功： ``` ResourceManager NameNode SecondaryNameNode DataNode NodeManager ``` 至此，Hadoop环境搭建完成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值