linux安装hadoop

已于 2023-03-09 17:09:15 修改
阅读量229 收藏
点赞数
文章标签： hadoop linux
于 2023-02-05 20:40:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53898747/article/details/128892939
版权

一.安装新的虚拟机

虚拟机可以看我之前的文章，按照自己电脑硬件配置选择它的内存，处理器，硬盘大小。

下面是我之前安装虚拟机的链接：

(63条消息) 虚拟机centOS安装_难以言喻wyy的博客-CSDN博客

二.在新建立的虚拟机上开启远程连接

2.1关闭和禁用防火墙

system stop firewalld
system disable firewalld

2.2修改网络配置文件

跳转到网络服务目录

 cd /etc/sysconfig/network-scripts/

修改网络配置

vi ifcfg-ens33

 在其中加入以下代码

其中IPADDR和其以下写上自己的ip地址

BOOTPROTO=static
ONBOOT=yes
ONBOOT=yes
IPADDR=192.168.61.143
GATEWAY=192.168.61.2
NETMASK=255.255.255.0
DNS1=8.8.8.8

   重启网络服务

systemctl restart network

 三.进入xshell进行配置

3.1安装vim工具

yum install -y vim

3.2免密登陆

[root@localhost ~]# ssh-keygen -t rsa -P ""
[root@localhost .ssh] pwd 
/root/.ssh
[root@localhost .ssh]# cat ./id_rsa.pub >> authorized_keys

 3.3开启远程免密登录配置

[root@localhost .ssh]# ssh-copy-id -i ./id_rsa.pub -p22 root@192.168.61.146

3.4远程登录

[root@localhost .ssh]# ssh -p22 root@192.168.61.146

3.5同步时间

[root@localhost .ssh]# yum install -y ntpdate

3.6定时更新时间

[root@localhost .ssh]# crontab -e
*/5 * * * * /usr/sbin/ntpdate -u time.windows.com

3.7启动定时任务

[root@localhost .ssh]# service crond start/stop/restart/reload/status

3.8修改计算机名

[root@localhost .ssh]# vim /etc/hostname
[root@localhost .ssh]# hostnamectl  set-hostname gree143

3.9Ping服务器

[root@localhost .ssh]# ping 192.168.61.143
[root@localhost .ssh]# ping gree143

3.10配置hosts文件

[root@localhost .ssh]# vim /etc/hosts
192.168.78.143  gree143

3.11解压文件到指定目录

[root@localhost install]# tar -zxvf ./jdk-8u321-linux-x64.tar.gz -C ../soft/
[root@localhost install]# tar -zxvf ./hadoop-3.1.3.tar.gz -C ../soft/

3.12修改文件名字

[root@localhost install]# cd /opt/soft
[root@localhost soft]# mv jdk1.8.0_321/ jdk180
[root@localhost soft]# mv hadoop-3.1.3/ hadoop313

3.13配置JDK环境变量

[root@localhost soft]# vim /etc/profile
74 # JAVA_HOME
75 export JAVA_HOME=/opt/soft/jdk180
76 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
77 export PATH=$PATH:$JAVA_HOME/bin

3.14刷新配置文件

[root@localhost soft]# source /etc/profile

再javac出现下图

 出现下面的代码则配置成功

[root@localhost soft]# java -version
java version "1.8.0_321"
Java(TM) SE Runtime Environment (build 1.8.0_321-b07)
Java HotSpot(TM) 64-Bit Server VM (build 25.321-b07, mixed mode)

四.配置hadoop环境文件并且安装

4.1cd到下面目录

cd /opt/soft/hadoop313/etc/hadoop

 4.2开始配置

[root@gree2 hadoop]# vim ./core-site.xml

注：我直接将需要配置的文件所有内贴在下面

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://gree143:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/opt/soft/hadoop313/data</value>
    <description>namenode上本地的hadoop临时文件夹</description>
  </property>
  <property>
    <name>hadoop.http.staticuser.user</name>
    <value>root</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
    <description>读写队列缓存：128K</description>
  </property>
  <property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
  </property>
</configuration>

[root@gree2 hadoop]# vim ./hadoop-env.sh

输入set nu指令:填入以下代码

export JAVA_HOME=/opt/soft/jdk180

 [root@gree2 hadoop]# vim ./hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
    <description>hadoop中每一个block文件的备份数量</description>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/opt/soft/hadoop313/data/dfs/name</value>
    <description>namenode上存储hdfsq名字空间元数据的目录</description>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/opt/soft/hadoop313/data/dfs/data</value>
    <description>datanode上数据块的物理存储位置目录</description>
  </property>
  <property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
    <description>关闭权限验证</description>
  </property>
</configuration>

 [root@gree2 hadoop]# vim ./mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description>job执行框架： local, classic or yarn</description>
    <final>true</final>
  </property>
  <property>
    <name>mapreduce.application.classpath</name>
    <value>/opt/soft/hadoop313/etc/hadoop:/opt/soft/hadoop313/share/hadoop/common/lib/*:/opt/soft/hadoop313/share/hadoop/common/*:/opt/soft/hadoop313/share/hadoop/hdfs/*:/opt/soft/hadoop313/share/hadoop/hdfs/lib/*:/opt/soft/hadoop313/share/hadoop/mapreduce/*:/opt/soft/hadoop313/share/hadoop/mapreduce/lib/*:/opt/soft/hadoop313/share/hadoop/yarn/*:/opt/soft/hadoop313/share/hadoop/yarn/lib/*</value>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>gree143:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>gree143:19888</value>
  </property>

  <property>
    <name>mapreduce.map.memory.mb</name>
    <value>1024</value>
  </property>
  <property>
    <name>mapreduce.reduce.memory.mb</name>
    <value>1024</value>
  </property>

</configuration>

 [root@gree2 hadoop]# vim ./yarn-site.xml

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>

<!-- Site specific YARN configuration properties -->

  <property>
    <name>yarn.resourcemanager.connect.retry-interval.ms</name>
    <value>20000</value>
  </property>

  
  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  </property>

  <property>
    <name>yarn.nodemanager.localizer.address</name>
    <value>gree143:8040</value>
  </property>

  <property>
    <name>yarn.nodemanager.address</name>
    <value>gree143:8050</value>
  </property>

  <property>
    <name>yarn.nodemanager.webapp.address</name>
    <value>gree143:8042</value>
  </property>


  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/opt/soft/hadoop313/yarndata/yarn</value>
  </property>

  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/opt/soft/hadoop313/yarndata/log</value>
  </property>





</configuration>

 4.3配置变量：

[root@localhost soft]# vim /etc/profile

 写在JAVA-HOMEde1配置下

# HADOOP_HOME
export HADOOP_HOME=/opt/soft/hadoop313
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HADOOP_HOME/lib
export HDFS_NAMENODE_USER=root
export HDFS_DATANODE_USER=root
export HDFS_SECONDARYNAMENODE_USER=root
export HDFS_JOURNALNODE_USER=root
export HDFS_ZKFC_USER=root
export YARN_RESOURCEMANAGER_USER=root
export YARN_NODEMANAGER_USER=root
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export HADOOP_YARN_HOME=$HADOOP_HOME
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_LIBEXEC_DIR=$HADOOP_HOME/libexec
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

 刷新配置

 source /etc/profile

完成以上配置后就可以格式化安装hadoop了

[root@gree2 dfs]# echo $HADOOP_HOME
[root@gree2 dfs]# hdfs namenode -format

 启动hadoop

[root@gree2 dfs]# start-all.sh

 

 jps显示启动了几个服务，按照我们的配置应该出现六个

如下图：

 没有任何问题后，关闭服务

[root@gree2 dfs]# stop-all.sh

难以言喻wyy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
linux安装Hadoop
08-07
研究生期间网上下的教程-Linux上安装Hadoop的教程，仅供参考
Linux 安装Hadoop.pdf
09-23
- 安装完成后，建议进行基本的功能测试，如创建文件系统目录、上传数据、执行MapReduce任务等，以验证Hadoop安装的正确性和完整性。 总结来说，Linux上安装Hadoop涉及多个步骤，从环境准备、安装部署、配置文件...
【Linux】—Hadoop运行环境搭建（完全分布式）
sodaloveer的博客
07-03 549
【Linux】—Hadoop运行环境搭建（完全分布式）
Linux系统上安装Hadoop的详细步骤
03-23
Linux系统上安装Hadoop的详细步骤,该文档详细的描述了在linux上面如何安装hadoop，如何信息配置，初始化，启动hadoop等等，喜欢的朋友可以拿去使用
Linux下安装Hadoop完全分布式
10-11
- **Hadoop安装与配置**：包括Hadoop的下载、解压、配置文件调整等步骤。 #### 详细内容 ##### 一、环境搭建 - **操作系统选择**：本教程选择了Ubuntu 12.10作为操作系统的安装版本。对于现代Hadoop版本而言，推荐...
在linux环境安装hadoop集群
03-16
"在 Linux 环境安装 Hadoop 集群" 在 Linux 环境中安装 Hadoop 集群是大数据处理和分析的重要步骤。Hadoop 是 Apache 基金会开发的一款开源的分布式计算框架，能够处理大量数据。下面是安装 Hadoop 集群的详细步骤...
集成Apache Kylin与Apache Hadoop：实现大数据高效分析
weixin_41859354的博客
08-02 1162
Apache Kylin是一个开源的分布式分析引擎，能够提供Hadoop之上的多维分析（OLAP）能力。Kylin通过预计算存储多维立方体（Cubes）来加速查询速度，能够在数秒内完成对TB级数据的查询。支持多维分析和OLAP查询。高效的查询速度，适用于大数据环境。与Hadoop生态系统的紧密集成，包括HDFS、Hive、HBase等。支持标准SQL接口，方便业务用户使用。Apache Hadoop是一个开源的分布式计算框架，旨在处理大规模数据集。：分布式文件系统，负责数据存储。
VSCode远程调试Linux程序
破竹的博客
08-05 224
VS 安装CodeRunner插件菜单→添加配置→lunch.json中设置如下：program填入要调试的文件。
linux磁盘可视化分析工具
吻等离子的博客
08-02 1046
Baobab 是 GNOME 桌面环境中的一款图形化磁盘使用分析工具。它能够扫描文件系统并显示各个文件和目录的磁盘使用情况，以易于理解的树形图或圆环图展示。这种可视化方式使得用户能够快速找到占用空间较大的文件和目录。Baobab 是一款非常实用的磁盘使用可视化工具，特别适合用来分析和管理 Linux 系统中的磁盘空间。通过它的直观界面和强大的功能，用户可以轻松找到占用磁盘空间最多的文件和目录，从而采取相应的措施进行清理或优化。
LeetCode 572.另一棵树的子树 C写法
m0_63816268的博客
08-02 228
可以用上的方法，，如果有一轮比较成功就表示root包含subroot。
Linux地址空间详解
m0_74830524的博客
08-02 826
本篇通过对物理内存和页表详细的讲解，对 Linux 系统下的地址空间做了深度的剖析。
linux查询占用端口 杀死占用端口进程
ll回家了
08-02 224
在确定了占用端口的进程之后，您可以使用 `kill` 或 `pkill` 命令来终止这些进程。`lsof`（列出打开的文件）命令是另一个强大的工具，用于检查哪些进程在使用特定端口。您可以使用 `netstat` 和 `lsof` 命令来检查哪些进程在使用特定端口。- **`-n`**：以数字形式显示地址，避免DNS查找。- **`-p`**：显示进程的PID和程序名称。- `kill -9 `：强制终止进程。- **`-t`**：显示TCP端口。- **`-l`**：列出监听端口。
CanFestival在Linux下的使用
爱就是是恒久忍耐的专栏
08-02 750
Linux下使用CanFestival
Linux：账号和权限管理（一）
shyuu的博客
08-04 609
Linux的账号和权限管理。Linux基于用户身份对资源访问进行控制。
《Linux从入门到进阶》第一节 初识Linux
weixin_47515798的博客
08-05 216
系统级应用程序，可以理解为出厂自带程序，可供用户快速上手操作系统，如：文件管理器、任务管理器、图片查看、音乐播放等。·内核提供系统最核心的功能，如：调度CPU、调度内存、调度文件系统、调度网络通讯、调度IO等。操作系统：是软件的一类，主要作用是协助用户调度硬件工作，充当用户和计算机硬件之间的桥梁。软件：是用户和计算机硬件之间的接口和桥梁，用户通过软件与计算机进行交流。在内核之上，封装系统级应用程序，组合在一起就称之为Linux发行版。内核无法被用户直接使用，需要配合应用程序才能被用户使用。
Linux中atime，ctime，mtime详解
lemon310的博客
08-04 374
使用正号（+）时，表示时间范围不包括当前日期，而使用负号（-）时，包括当前日期。如果不使用正负号，仅使用数字，则表示时间范围包括当前日期。在Linux中atime，ctime，mtime都是与文件相关的时间戳。在find命令中，可以使用atime，ctime，mtime来进行查询。ctime和mtime同理。
Linux下安装Go语言环境的详细指南
一起coding，一起嗨。
08-02 386
Linux下安装Go语言环境的详细指南
linux下常用java、nginx部署命令
hazhanglvfang的专栏
08-05 278
6.nohup java -jar -Dserver.port=8087 XXXX-web.jar spring.config.location=/home/XXXXXX/application.yml > uni.log & 指定外部文件部署且指定固定端口。24.修改nginx文件后 ，nginx -s reload 成功后没生效,这种情况下需要把nginx手动杀掉后 在启动。找到目前的文件，清空文件 ，有可能删除不管用rm-rf 文件名 ，需要清空文件 echo >文件名。
Linux——线程互斥与同步
最新发布
hu_143的博客
08-05 624
Linux线程互斥与同步详解！！！
Linux安装hadoop
05-05
在Linux上安装Hadoop可以按照以下步骤进行： 1. 首先，确保你已经在Linux系统上安装了Java Development Kit（JDK）。Hadoop是用Java编写的，所以需要先安装Java环境。 2. 下载Hadoop的二进制文件。你可以从Hadoop...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值