hadoop3.1.0 HDFS快速搭建伪分布式环境

最新推荐文章于 2024-03-21 14:58:40 发布
最新推荐文章于 2024-03-21 14:58:40 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： Scala与大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Artisters/article/details/80101404
版权

1.环境准备

  1. CenntOS7环境
  2. JDK1.8-并配置好环境变量
  3. 下载Hadoop3.1.0二进制包到用户目录下

2.安装Hadoop

1.解压移动

#1.解压tar.gz
tar -zxvf hadoop-3.1.0.tar.gz
#2.将hadoop.tar.gz 移动到usr目录下
sudo mv hadoop-3.1.0 /usr/hadoop

2.配置Hadoop JAVA_HOME

vim /usr/hadoop/etc/hadoop/hadoop-env.sh

#设置JAVA_HOME
export JAVA_HOME=/usr/java/xxx

3.配置Hadoop环境变量

vim /etc/profile

#设置Hadoop环境变量
最低0.47元/天 解锁文章
炉边诗人
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hadoop3.1.0
06-25
hadoop3.1.0在win10系统使用vs2017编译的本地库，包括hadoop.dll,hdfs.dll,winutils.exe及其.lib文件
Windows环境下安装Hadoop3.1.0全过程（超详细手把手一条龙教学）
GCTTTTTT的博客
09-06 1万+
Windows环境下安装Hadoop3.1.0全过程（超详细手把手一条龙教学）
windows安装hadoop3.1.0
huarui0922的博客
05-24 1139
windows安装hadoop，windows安装HDFS
hadoop 各个版本下载地址。
男色的博客
07-13 4万+
    地址：https://archive.apache.org/dist/hadoop/common/
centos7+hadoop-3.1.0搭建分布式集群超详细教程
sinat_39022932的博客
04-10 1668
目录 一、新建虚拟机： 二、连接XSHell 三、修改主机名称和网络名称 四、关闭防火墙 五、关闭selinux 六、jdk的安装与卸载 七、hadoop的安装 八、克隆 九、配置slave1和slave2 十、ssh免密登录 十一、格式化节点 十二、启动hadoop集群 一、新建虚拟机： 参考教程： https://blog.csdn.net/babyxue/art...
Window10安装Hadoop3.1.0
dj1955的博客
10-23 307
(1) Hadoop3.1.0版本的安装包：https://archive.apache.org/dist/hadoop/common/hadoop-3.1.0/hadoop-3.1.0.tar.gz。(2) Windows环境安装所需的bin：https://github.com/s911415/apache-hadoop-3.1.0-winutils。2.winutils的bin文件夹替换Hadoop3.1.0的bin文件夹 (支持hadoop在win系统运行)3.像安装JDK一样配置系统环境变量。
hadoop-3.1.0 安装
shengyingwen的专栏
03-21 1856
1. hadoop、hive、flink等目前版本基本依赖于jdk1.8, 所以需要专门的JDK环境，毕竟现在大多开发者都是使用>=11版本了。2. windows 系统建议使用VMware通过新建虚拟机安装，适用windows的版本在安装中配置、安装后使用都会挺麻烦(权限、cmd启动脚本、切换开发使用的jdk版本等)，也会比较卡，毕竟Contos7系统目前是最贴近服务器环境的。下面，直接进入正题！
hadoop的官网下载和各版本下载方法
热门推荐
leileihhxx的博客
12-27 7万+
不想看具体分析可以直接点击链接下载。 1、官网：官网下载 2、旧版本下载(官方的archive地址)：旧版本下载 3、清华大学开源软件镜像站下载(速度较快，只有新版本)：清华大学开源软件镜像站 具体流程： 先贴出hadoop官方地址~ hadoophttps://hadoop.apache.org/ 一般来说，Apache的开源软件后缀都是apache.org。hive的官网是Hivehttps://hive.apache.org/ Zookeeper也一样，网址：zookeep
Hadoop 高可用安装
qq_61604164的博客
11-09 1617
Hadoop 高可用（HA） Hadoop 高可用安装
Hadoop 3.1.0 本地安装和伪分布式安装步骤和踩坑详解
哇彩的博客
07-19 5070
一、Hadoop 安装 1.apache 官网下载hadoop tar.gz 上传到linux 服务器； 2.验证Linux 服务器是否有java环境，java -version；是否有JAVA_HOME,echo $JAVA_HOME; 3.配置Hadoop 环境变量，需要配置 hadoop目录下的 bin 和 sbin 目录 注：环境变量可在 ~/.bash_profile（只对当前用...
hadoop3.1环境搭建
04-14
hadoop3.1支持GPU,Linux, Windows, 了不起的系统 也是最新的技术， 看项目网站更全面：http://hadoop.apache.org/docs/current/index.html
hadoop3.1.1@win64
03-06
Hadoop在访问本地文件和hdfs文件系统时，需要使用本地库，本地库中使用了Windows的API来实现类posix的文件访问许可。而这个本地库的实现就是Hadoop.dll和winutils.exe 编译环境： hadoop2.7.7 - hadoop3.1.1 JDK1.7.0_80/JDK1.8.0_181 C# Compiler version 4.7.3062.0 maven 3.6.0 ProtocolBuffer 2.5.0 CMake 3.13.2 VS2010 mingw-w64 x86_64 8.1.0 请加星支持一下： https://github.com/caidaol/hadoopbuild
hadoop的有关jar包
09-07
资源包括hadoop-common-2.4.1.jar 、 hadoop-hdfs-2.4.1.jar、hadoop-mapreduce-client-app-2.4.1.jar、hadoop-mapreduce-client-common-2.4.1.jar、hadoop-yarn-api-2.4.1.jar、hadoop-yarn-client-2.4.1.jar等等等等等等还有好多 就不一一列举了还有许多公共类的jar至少有五十个具体是哪一方面的也没有细看总之和hadoop有关
hadoop-3.1.1-src.tar
11-13
hadoop-3.1.1-src.tar
hadoop最新版本3.1.1全量jar包
10-26
hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar hadoop-yarn-client-3.1.1.jar hadoop-client-api-3.1.1.jar hadoop-hdfs-client-3.1.1.jar hadoop-mapreduce-client-jobclient-3.1.1.jar hadoop-yarn-common-3.1.1.jar hadoop-client-minicluster-3.1.1.jar hadoop-mapreduce-client-app-3.1.1.jar hadoop-mapreduce-client-shuffle-3.1.1.jar hadoop-yarn-server-common-3.1.1.jar hadoop-client-runtime-3.1.1.jar hadoop-mapreduce-client-common-3.1.1.jar hadoop-mapreduce-client-uploader-3.1.1.jar
hadoop 3.1.0安装
rick_zyl的博客
02-23 1250
一. 创建新用户并修改密码与相应权限 1.1 创建一个新用户(以hadoop为例) # 可以使用cat /etc/group | grep hadoop 查看hadoop用户是否存在 $ cat /etc/group | grep hadoop hadoop:x:1000: # 用户名为hadoop(可取符合规则的任意用户名)，使用/bin/bash作为shell sudo useradd -m hadoop -s /bin/bash # 添加用户时同时指定用户组，id，以及用户主目录 # sudo use
hadoop 3.1.1的集群搭建并完成高可用配置(详细版)
一只程序猿的修炼之旅
11-17 1万+
@关于hadoop 3.1.1 集群搭建（四个节点模式） 一、简介 hadoop是Apache基金会的一个顶级项目，本文以hadoop 3.1.1为例，讲述如何从零开始搭建好hadoop集群。 二、准备工作 1.安装平台 安装平台，是指hadoop软件需要搭建在linux系统中。国内有两大知名linux平台，分别是Ubuntu和Centos。 给出官网的下载地址： Ubuntu : https://...
Hadoop3.1.0（伪分布式）安装教程
Sven119的博客
04-13 4020
一、支持的平台支持GNU/Linux作为开发和生产平台。Windows也是一个支持的平台，下面步骤仅适用于Linux。二、所需软件所需的Linux软件包括：Java必须安装。如果要使用可选的启动和停止脚本，必须安装ssh，并且必须运行sshd才能使用管理远程Hadoop守护程序的Hadoop脚本。此外，建议安装pdsh以获得更好的ssh资源管理。三、安装软件    如果你的集群没有必要的软件，你需...
头哥hadoop第1关：伪分布式环境搭建
最新发布
06-30
头哥Hadoop的第一关通常是指在本地环境中搭建伪分布式模式。伪分布式模式是一种简化版的Hadoop集群环境，主要用于开发和测试阶段，因为它不需要启动完整的Hadoop守护进程（如NameNode、DataNode等），而是模拟这些...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值