Hadoop环境配置

于 2022-09-19 10:00:00 发布
阅读量579 收藏
点赞数
分类专栏： hadoop 文章标签： hadoop 大数据 hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37921144/article/details/126901639
版权
本文详细介绍了如何在Linux环境中配置Hadoop。首先，通过xftp将JDK和Hadoop的jar包导入Linux，并将JDK解压到指定目录，接着配置Java环境变量。然后，解压Hadoop的jar包，并在环境变量配置文件中设置Hadoop的相关路径。最后，通过执行相关命令检查环境变量是否配置成功。
摘要由CSDN通过智能技术生成

Hadoop环境配置

配置JDK
  • 将JDK和hadoop的jar包通过xftp导入到linux

image-20220916173354557

  • 将JDK解压到/opt/module目录下
tar -zxvf jdk-8u144-linux-x64.tar.gz  -C ../module/
  • 进入/etc/profile.d目录下，新建一个my_env.sh文件用来配置java环境变量
sudo touch my_env.sh
sudo vim my_env.sh

#配置JDK环境变量
#声明JAVA_HOME变量
JAVA_HOME
最低0.47元/天 解锁文章
echo-dundun
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
配置hadoop和jdk(java)环境
FA_learning的博客
11-21 1373
简单说下吧，希望大家能理解
hadoop 2.7 java_hadoop2.7.2修改配置文件，配置linux java环境变量
weixin_33662445的博客
02-19 258
1.修改core-site.xml，加上fs.defaultFShdfs://backup02:9000hadoop.tmp.dirfile:/home/zhongml/hadoop-2.7.2/tmpio.file.buffer.size1317022.修改hdfs-site.xml，加上dfs.namenode.name.dirfile:/home/zhongml/hadoop-2.7.2/h...
hadoop配置java环境
cwg844321258的博客
04-12 736
1、创建我们将要使用的各个目录 sudo mkdir /opt/softwares sudo mkdir /opt/moudules sudo mkdir /opt/tools sudo mkdir /opt/datas 2、将root用户的目录改变成kfk用户所属的目录 sudo chown -R kfk:kfk /opt/* 3、将JDK安装包通过工具上传到/opt/softwares目录下 4、更改文件的可执行权限 chmod u+x /opt/softwares/*
Hadoop环境变量配置
热门推荐
最慢的步伐不是跬步，而是徘徊；最快的脚步不是冲刺，而是坚持
12-12 1万+
Hadoop环境变量配置 1.一旦 Hadoop 集群启动并运行，可以通过 web-ui 进行集群查看，如下所述： NameNode（HDFS管理界面）：192.168.25.100:50070 或 node1:50070 ResourceManager（MR管理界面）：http://192.168.25.100:8088 或 node1:8088 2.配置 win...
hadoop设置java环境_Hadoop环境安装设置
weixin_42349272的博客
03-04 2192
Hadoop由GNU/Linux平台支持(建议)。因此，需要安装一个Linux操作系统并设置Hadoop环境。如果有Linux操作系统等，可以把它安装在VirtualBox(要具备在 VirtualBox内安装Linux经验，没有装过也可以学习试着来)。安装前设置在安装Hadoop之前，需要进入Linux环境下，连接Linux使用SSH(安全Shell)。按照下面提供的步骤设立Linux环境。创建...
hadoop环境配置
04-16
Hadoop 环境配置 Hadoop 是一种开源的大数据处理框架，由 Doug Cutting 和 Mike Cafarella 在 2005 年创建。Hadoop framework 使得开发者可以快速构建高效、可靠的大数据处理应用程序。为了让初学者更好地理解和...
windows下Hadoop环境配置文件
12-14
通过编写简单的Java程序并运行，验证Hadoop环境配置是否正确。尝试读取或写入HDFS上的文件，如果一切正常，你应该能在HDFS中看到这些操作的结果。 9. **关闭Hadoop服务**： 当你完成工作后，记得用`stop-dfs.sh`...
单节点运行hadoop环境配置.docx
最新发布
09-18
在配置单节点Hadoop环境时，首先需要确保你的系统已经具备了Java环境，因为Hadoop是基于Java开发的分布式计算框架。这里选择了Java 1.6.32版本进行安装。你可以从Oracle官方网站下载对应的Linux i586版本的bin文件。...
单节点Hadoop环境配置
08-06
### 单节点Hadoop环境配置知识点详解 #### Hadoop概述及发展历程 - **创始人与背景**：Hadoop是由Doug Cutting创建的。Cutting毕业于斯坦福大学，同时也是Lucene和Nutch项目的创始人。2004年，他在开发Nutch搜索...
Hadoop之配置java与hadoop环境
柳小葱的博客
04-17 5457
我们学习hapood，需要在系统中配置JAVA和Hadoop环境，今天我们就来使用Xshell配置对应环境。一个hadoop服务器需要这些东西，我们今天的文章只配置java和hadoop环境。 #mermaid-svg-9pJKBlGneJuA1ie4 .label{font-family:'trebuchet ms', verdana, arial;font-family:var(--mermaid-font-family);fill:#333;color:#333}#mermaid-svg-9pJKBl
【hadoop】1.配置java环境
weixin_43966900的博客
11-05 376
#环境centos7 一行命令完事： yum -y install java-1.8.0-openjdk 输入： java -version 如果没问题就说明装好了 然后还有添加java环境变量 打开文件 vim /etc/profile 在末尾添加 unset i unset -f pathmunge export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.262.b10-0.el7_8.x86_64/jre export JRE_HOME=${
Hadoop完全分布式环境搭建（三）——基于Ubuntu16.04安装和配置Java环境
weixin_34198881的博客
01-28 250
【系统环境】 1、宿主机OS：Win10 64位 2、虚拟机软件：VMware WorkStation 12 3、虚拟机OS:Ubuntu16.04 4、三台虚拟机 5、JDK文件：jdk-8u201-linux-x64.tar.gz 6、操作账号：hadoop 【安装操作步骤】 1、上传j...
hadoop java配置环境变量_hadoop配置环境变量
weixin_36249804的博客
02-26 1530
hadoop安装包解压tar -xvf hadoop-2.7.7.tar.gz解压成功ll查看文件配置环境变量1.vi /home/wj/hadoop-2.7.7/etc/hadoop/hadoop-env.sh修改export JAVA_HOME={$JAVA_HOME}为 exportJAVA_HOME=/usr/java/jdk1.8.0_162/2.vi yarn-env.sh找到#...
hadoop java配置环境变量_win10 Java环境变量，hadoop 环境变量
weixin_42234168的博客
02-26 177
妈呀，今天又重装了系统。需要装上java环境。安装环境老百度，然后老掉坑。(path 路经)1，新建环境变量 JAVA_HOME2, 新建 CLASSPATH 环境变量.;%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;3， 在path 系统变量上添加路径%JAVA_HOME%\bin%JAVA_HOME%\jre\binpath 两个路径要分开写...
hadoop java配置环境变量_Hadoop环境搭建之环境变量配置
weixin_39897758的博客
02-26 231
刚刚接触Hadoop和Linux，以此来记录学习的过程和点滴。一：自己新建的用户没有修改/etc/profile文件和sudo命令的权限：进入root用户，chmod u+w /etc/sudoers 添加写权限vim /etc/sudoers :编辑文件 在 root ...下一行加入: xxx(自己建的用户名) ALL=(ALL:ALL) ALLchmod u+w /etc/s...
Hadoop配置环境变量（详解版）
CZXY18ji的博客
11-08 6263
1.运行hadoop的程序报错java.io.IOException: Could not locate executable null\bin\winutils.exe in the Hadoop binaries. **这是因为windows环境变量不兼容的原因解决办法： 首先需要下载 hadoop的tar.gz包，前提是JDK必须配置成功，存放路径不能有中文 配置环境变量此电脑–属性–高级...
hadoop搭建之linux配置java6的环境变量
Hello,Sparrow!
04-03 276
不小心把/etc/profile文件删了，重新写一个：vi /etc/profile 最讨厌在vi上面编辑，搞了一上午，直接把下面的内容复制进去吧。注意要空两格再复制，否则会丢失字符。 /etc/profile: system-wide .profile file for the Bourne shell (sh(1)) and Bourne compatible shells (bash(1),...
hadoop环境搭建之环境变量配置
slight0908的专栏
01-16 1116
刚刚接触hadoop和linux，以此来记录学习的过程和点滴。 一：自己新建的用户没有修改/etc/profile文件和sudo命令的权限：         进入root用户，chmod u+w /etc/sudoers   添加写权限           vim /etc/sudoers  :编辑文件  在 root ...下一行加入: xxx(自己建的用户名)    ALL
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

echo-dundun

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值