Hadoop单机伪分布式安装详解

最新推荐文章于 2022-11-21 14:42:57 发布
最新推荐文章于 2022-11-21 14:42:57 发布
阅读量311 收藏
点赞数
分类专栏： hadoop基础 文章标签： linux hadoop 大数据 java centos
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41633902/article/details/105874991
版权

文章目录

这里是一段防爬虫文本，请读者忽略。
本文原创首发于CSDN，作者IDYS
博客首页：https://blog.csdn.net/weixin_41633902/
本文链接：https://blog.csdn.net/weixin_41633902/article/details/105874991

写在开头的话

  • 请记住：实践是掌握知识的最快方法
  • 如果你只是怀着看看的态度去快速浏览文章，而不去认认真真的把文章里面讲的任何一个知识点去实践一遍，那么你永远也掌握不了它
  • 生命不息，折腾不止！

前提环境准备

配置JAVA环境

将jdk安装包传输至你的Linux宿主机中
  1. 将jdk安装包传输到Linux当中
  • 方法一：sftp方式（当然也可以用scp，或者是xshel的xftp，还有很多其它的sftp工具都可以）
    • 在CRT里面按住ALT+P即可进入sftp模式
    • put 你的Windows下jdk安装包的位置，如：
      • put D:\Users\dayuanshuai\Desktop\jdk-8u212-linux-x64.tar.gz，现在即上传文件到你的Linux当中
  • 方法二：lrzsz工具安装
    • 在Linux中安装lrzsz安装包
    • 执行rz（receive）从Linux中接收客户端文件
      • sz（send）就是从linux中发送文件到客户端
[root@dayuanshuai java]#  yum -y install lrzsz
[root@dayuanshuai java]# rz
  • 方法三：安装VMware工具，最后直接将jdk安装包拖进去就ok了
    • 挂载VMware-tool的ISO文件，然后将文件复制到/usr/local 下
    • 解压VMware压缩包
    • 直接vmware的脚本文件，不停回车即可安装完vmware-tool
    • 最后直接可以把jdk安装包拖进虚拟机当中
  • 方法四：建立VMware的磁盘映射，将jdk文件传到VMware当中
    • 这种方式即为少见，我就不介绍了
操作jdk安装包，然后配置java环境
  • 将jdk安装包移动到/usr/local/java下，并且解压
mkdir /usr/local/java 
mv jdk-8u212-linux-x64.tar.gz /usr/local/java/
tar -zxvf jdk-8u212-linux-x64.tar.gz
  • 编辑/etc/profile文件
JAVA_HOME=/usr/local/java/jdk1.8.0_212
JRE_HOME=/usr/local/java/jdk1.8.0_212/jre
CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export JAVA_HOME JRE_HOME CLASS_PATH PATH

# 以上路径均为你jdk包存放的路径
  • 重新执行profile文件

source /etc/source

  • 查看java是否安装成功
[root@dayuanshuai ~]# java -version
java version "1.8.0_212"

[root@dayuanshuai ~]# java
用法: java [-options] class [args...]
           (执行类)
   或  java [-options] -jar jarfile [args...]
           (执行 jar 文件)
....... #省略

[root@dayuanshuai ~]# javac
用法: javac <options> <source files>
其中, 可能的选项包括:
..... #省略
  • 到此java安装成功

配置ssh免密登录

  1. 生成一对密钥对，执行ssh-keygen -t rsa -b 2048命令，这时你的家目录的.ssh目录下就有一对rsa密钥
  • 关于ssh-keygen命令的参数解释
    • -t 指定加密类型
    • -b指定密码长度
  1. 执行ssh-copy-id 用户名@主机名命令，然后输入对应的用户名密码，这时你就能实现免密登录某台主机对应的用户
#最开始登录自己主机对应的用户是需要输入密码的
[root@dayuanshuai ~]# ssh root@192.168.200.135
root@192.168.200.135's password: 
Last login: Mon Apr 27 00:19:40 2020 from 192.168.200.1
your UID=0 your home=/root

# 生成密钥对
[root@dayuanshuai ~]# ssh-keygen -t rsa -b 2048

# 复制自己的公钥到主机对应用户的~/.ssh/authorized_keys里面
[root@dayuanshuai ~]# ssh-copy-id root@192.168.200.135
#输入主机对应用户的密码
root@192.168.200.135's password: 
Now try logging into the machine, with "ssh 'root@192.168.200.135'", and check in:

  .ssh/authorized_keys

to make sure we haven't added extra keys that you weren't expecting.

# 这时再次登录，可以不用输入主机名对应用户的密码了，直接免密登录
[root@dayuanshuai ~]# ssh root@192.168.200.135
Last login: Mon Apr 27 00:33:39 2020 from dayuanshuai
your UID=0 your home=/root

安装Hadoop，及其hadoop配置

  1. 在/usr/local/下创建目录，然后再将Hadoop安装包复制到该目录下，之后再解压
#在/usr/local下创建bigdata_software目录
mkdir /usr/local/bigdata_software

# 移动hadoop安装包到/usr/local/bigdata_software/ 下
mv hadoop-2.4.1.tar.gz /usr/local/bigdata_software/

#解压Hadoop安装包
tar -zxvf hadoop-2.4.1.tar.gz
  1. 在/etc/profile下配置Hadoop环境
# 编辑/etc/profile文件
vim /etc/profile

HADOOP_HOME=/usr/local/bigdata_software/hadoop-2.4.1
# 前面PATH下前面的是java的配置，后面才是Hadoop的环境配置
PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
# 环境变量导入
export JAVA_HOME JRE_HOME CLASS_PATH HADOOP_HOME PATH
  1. 编辑Hadoop的配置文件，文件包括：core-site.xml;hdfs-site.xml;mapred-site.xml;yarn-site.xml
  • hdfs-site.xml的配置
# 配置分布式文件系统里面副本的备份个数，因为此为单机分布式，所以配置value值为1即可
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
  • core-site.xml 的配置
<configuration>
# fs.defaultFS配置uri，用户唯一资源标识符
<property>
<name>fs.defaultFS</name>
<value>hdfs://dayuanshuai:9000/</value>
</property>
# hadoop.tmp.dir即可配置Hadoop里hdfs生成的文件的存储目录
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/bigdata_software/hadoop-2.4.1/tmp</value>
</property>
</configuration>
  • mapred-site.xml配置
# 首先完成改名，hadoop只会识别mapred-site.xml而是不mapred-site.xml.template
cp mapred-site.xml.template mapred-site.xml

# 编辑文件
vim mapred-site.xml

<configuration>
# 配置mapreduce的资源调度框架是基于谁的
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
  • yarn-site.xml配置
<property>
# 资源调度的主机名，此处填写你的主机名，或者localhost都可以，dayuanshuai是我的主机名
<name>yarn.resourcemanager.hostname</name>
<value>dayuanshuai</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
  • 添加Hadoop用户，并将Hadoop目录及其目录下所有的子目录文件的所属主和所属组全部分配给Hadoop
# 添加Hadoop组
useradd hadoop

# 分配所属主和所属组
chown -R hadoop:hadoop hadoop-2.4.1
  • 跳转到hadoop用户下，格式化namenode
su - Hadoop
hadoop namenode -format
  • 运行Hadoop
[hadoop@dayuanshuai ~]$ start-dfs.sh
[hadoop@dayuanshuai ~]$ start-yarn.sh
  • 查看运行状态
[hadoop@dayuanshuai hadoo_tmp]$ jps
6630 DataNode
6535 NameNode
6810 SecondaryNameNode
7370 Jps
7054 NodeManager #yarn开启
  • 查看开启端口数量
[hadoop@dayuanshuai hadoo_tmp]$ netstat -lntp
(Not all processes could be identified, non-owned process info
 will not be shown, you would have to be root to see it all.)
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address               Foreign Address             State       PID/Program name   
tcp        0      0 0.0.0.0:50010               0.0.0.0:*                   LISTEN      6630/java           
tcp        0      0 0.0.0.0:50075               0.0.0.0:*                   LISTEN      6630/java           
tcp        0      0 0.0.0.0:50020               0.0.0.0:*                   LISTEN      6630/java           
tcp        0      0 192.168.200.135:9000        0.0.0.0:*                   LISTEN      6535/java           
tcp        0      0 0.0.0.0:50090               0.0.0.0:*                   LISTEN      6810/java           
tcp        0      0 0.0.0.0:50070               0.0.0.0:*                   LISTEN      6535/java 
.... 省略

你可以通过浏览器进入Hadoop的50070端口查看Hadoop的使用情况

  • 访问连接http://192.168.200.135:50070/；ip地址为你的Hadoop的IP地址

关于安装过程中的报错及其解决办法

提示信息：

WARN org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

  • 其实就是无法加载Hadoop的本地库文件，因为本地库为32位，而我的机器，系统，包括安装包都是64位
解决办法：
  1. 升级依赖库文件
yum -y update glibc
  1. 编辑/etc/profile文件，添加如下配置
HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
export HADOOP_COMMON_LIB_NATIVE_DIR HADOOP_OPTS
  1. 编辑hadoop-env.sh文件，在末尾处添加如下文本
HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
export HADOOP_COMMON_LIB_NATIVE_DIR HADOOP_OPTS
  1. 编辑yarn-env.sh文件，在末尾添加如下文本
HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"
export HADOOP_COMMON_LIB_NATIVE_DIR HADOOP_OPTS
  1. 上传hadoop-native-64-2.4.0.tar文件，将其解压到$HADOOP_HOME/lib/native/和$HADOOP_HOME/lib/下
tar -xvf hadoop-native-64-2.4.0.tar -C hadoop-2.4.1/lib/native/
tar -xvf hadoop-native-64-2.4.0.tar -C hadoop-2.4.1/lib/
  • 关于hadoop-native-64-2.4.0.tar文件的下载，链接如下：

hadoop-native-64-2.4.0.tar

hadoop-native-64-2.4.1.tar

hadoop-native-64-2.5.0.tar

hadoop-native-64-2.5.2.tar

hadoop-native-64-2.6.0.tar

hadoop-native-64-2.7.0.tar

hadoop-native-64.tar

  • 重新读取/etc/profile文件，让配置的环境变量生效
source /etc/profile

至此Hadoop单机伪分布式已经全部安装完成



写在最后的话：

  • 无论每个知识点的难易程度如何，我都会尽力将它描绘得足够细致
  • 欢迎关注我的CSDN博客，IDYS’BLOG
  • 持续更新内容：
    linux基础 | 数据通信（路由交换，WLAN） | Python基础 | 云计算
  • 如果你有什么疑问，或者是难题。欢迎评论或者私信我。你若留言，我必回复！
  • 虽然我现在还很渺小，但我会做好每一篇内容。谢谢关注！

在这里插入图片描述


IDYS • 元帅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop单机伪分布式总结
Biubiubiu!
02-11 865
文章目录Hadoop单机伪分布式(精简版)一、Hadoop文件目录说明二、精简完整配置过程！1.修改ip:2.修改network:3.修改resolv.conf:4.重启网卡：5.关闭防火墙：6.创建目录：7.创建用户组和用户8.修改权限：9.进入用户，并修改目录权限10.修改hosts11.安装jdk12.配置环境变量并检查13.SSH免密登录14.下载解压hadoop15.修改环境变量16.修...
hadoop单机伪分布式
weixin_45955039的博客
10-23 1994
hadoop伪分布式 修改配置文件之前，别忘了免密 1.使用 ssh-keygen 命令，在 /home/hadoop/.ssh 目录下生成公钥和私钥，所有选项全部敲回车 ssh-keygen 2.使用 ssh-copy-id localhost 命令，发送本机的公钥给 localhost，本机就可以免密登录 localhost ssh-copy-id localhost hadoop的配置文件在etc/hadoop/里面 cd etc/hadoop/ 2.修改配置文件core-site.
hadoop 单机伪分布式安装步骤
Michael是个半路程序员
03-04 395
文章目录1. 安装 Java2. 配置SSH无密码登录3. 下载 hadoop4. 配置环境变量5. 报错处理参考 环境 Centos7 参考： https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html https://blog.csdn.net/bingduanlbd/article/details/51874195 1. 安装 Java 注意版本要求： https://cwiki.
Hadoop：单机伪分布式安装
Cyber的博客
08-19 331
一、系统安装 这里就不详细讲了，之前的《Linux：虚拟机安装Linux、Hadoop的相关操作》已经详细讲过了，这里有2点需要注意一下： 1、系统安装用Min最小化即可，相信我，你根本用不着GUI； 2、网络如果用主机模式我碰到很多Bug，所以干脆用了nat模式，啥问题都没了。 二、Java、Hadoop安装和配置 1、查看ip地址 ifconfig 获得我的虚机Ip地址是：192.168.253.132 2、登录xftp和Xshell 7 并上传jdk和hadoop的jar包 3、关闭防火墙 sy
python模块下载名单_python--命令（各个模块的安装）
weixin_39678525的博客
11-26 66
首先需要设置 Python 环境变量。 右击计算机->属性->高级->环境变量->修改系统变量 path，添加 Python 安装地址，本文实例使用的是 C:\Python33，你需要根据你实际情况来安装。然后通过终端（windows系统上的cmd），通过cd 等命令进入到所安装的python环境的目录里面，接着就是通过pip或者pip3等命令安装所需要的了！题外话：如果想升级 pip 可以用：(...
Hadoop安装教程_单机_伪分布式配置
01-05
### Hadoop安装教程：单机与伪分布式配置详解 #### 一、引言 Hadoop是一种开源的大数据处理框架，广泛应用于数据存储和处理场景。本文档将详细介绍如何在Ubuntu 14.04环境下安装配置Hadoop 2.6.0版本，包括单机模式...
hadoop的伪分布式模式配置与安装
04-12
### Hadoop伪分布式模式配置与安装详解 #### 一、前言 在深入探讨Hadoop伪分布式模式的配置与安装之前，我们先简单回顾一下Hadoop的基本概念以及它为何重要。Hadoop是一个开源框架，用于分布式存储和处理大规模...
Hadoop3.1.3安装和单机/伪分布式配置
最新发布
06-21
### Hadoop3.1.3安装与单机/伪分布式配置知识点详解 #### 一、实验目的和要求 - **掌握Hadoop3.1.3的安装与配置**：包括单机模式和伪分布式模式。 - **理解Hadoop的工作原理**：特别是其在不同模式下的运行机制。 ...
hadoop伪分布式搭建.docx
05-29
### Hadoop伪分布式环境搭建详解 #### 一、概述 Hadoop是一款开源的大数据分析处理框架，主要用于处理海量数据。在实际应用中，Hadoop通常部署在由多台服务器组成的集群上，以实现分布式计算和存储。然而，在学习或...
Hadoop安装教程_单机_伪分布式配置_Hadoop2.6.0_Ubuntu141
08-03
【Hadoop安装教程：单机与伪分布式配置详解】 在大数据处理领域，Hadoop是一个广泛使用的开源框架，它允许在廉价硬件集群上处理大规模数据。本文将指导您如何在Ubuntu 14.04 64位系统上安装Hadoop 2.6.0，无论是...
hadoop-2.7.4 单机伪分布配置文件
05-29
hadoop-2.7.4 单机伪分布配置文件，包括4大文件，直接替换，使用的是127.0.0.1 ，无需修改
Hadoop单机伪分布完全分布实验文档
04-10
hadoop三个实验相关操作文档，还有云计算的现有技术介绍的ppt
Hadoop2.7.3单机伪分布
leaf_it的博客
07-22 244
1. 官网：http://hadoop.apache.org/ 2. 下载版本hadoop 2.7.3(http://hadoop.apache.org/releases.html) 3. 预准备环境： a. Centos7 b. Java8 4. 创建目录 software ：mkdir /software 5. 上传hadoop到software 6. tar...
Hadoop单机伪分布模式搭建
徐先森的博客
05-21 544
hadoop单机伪分布式模式搭建步骤。
Hadoop单机伪分布式安装(完整版)
sun7_9的博客
11-09 6055
在学习Hadoop时，我发现网上的各种安装的资料要不不全，要不前后不匹配（比如有的是伪分布式，有的是完全分布式）。此篇文章，我总结了身边的同学在安装Hadoop时遇到的毛病，在前面安装配置环节，尽可能使用最优化的处理方式，以便于我们后续hbase的安装和使用。 前言：我所使用的Hadoop版本为Hadoop 2.10.1，jdk版本为jdk1.8.0_112, hbase版本为hbase2.3.3。在版本选择时，你们可以选择与我不同的版本，但记得一定要考虑版本的兼容性。说不多说，我们开始进行Hadoop.
Hadoop单机和伪分布搭建
zoe_ranxiaosu的博客
12-06 377
hadoop模块     Hadoop Common：支持其他Hadoop模块的常用实用程序。     Hadoop分布式文件系统（HDFS™）：一种分布式文件系统，可提供对应用程序数据的高吞吐量访问。     Hadoop YARN：作业调度和集群资源管理的框架。     Hadoop MapReduce：基于YARN的系统，用于并行处理大型数据集。（一种计算框架）     Hadoop O...
Hadoop 基础搭建历程-单机单点（伪分布模式）
Wandys的博客
02-22 415
基础环境：    1、win10、hadoop3.0 jdk1.8.0    2、Ubuntu16、hadoop3.0、jdk1.8.0    Hadoop 下载地址：http://hadoop.apache.org/releases.html安装：windows：1、运行\hadoop-3.0.0\etc\hadoop&gt;hadoop-env.cmd 配置环境变量    问题：提示JAVA_...
Hadoop2.7.4单机模式/伪分布模式详细配置(Ubuntu)
pythonniu的博客
12-11 1628
修改hostname sudo vim /etc/hostname 修改静态IP sudo /etc/network/interfaces 添加以下配置 auto ens33(联网名称) ifaces ens33 inet static address 192.168.135.133 gateway 192.168.135.2 netmask 255.255.255.0重启网络:/etc/init
Hadoop环境搭建-单机、伪分布式、完全分布式
遇安的博客
11-21 3123
本文详细的写有：hadoop单机安装、hadoop伪分布式环境搭建、hadoop完全分布式环境搭建的步骤
CentOS上伪分布式Hadoop安装步骤详解
本教程详细讲解了在伪分布式模式下安装Hadoop的过程，这种模式适用于单机环境中模拟分布式环境，可以理解为在一台机器上运行多个Hadoop进程，模拟多节点集群的行为。 首先，安装前提是操作系统为CentOS5.5，并且...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值