Linux伪分布(离线安装Java和hadoop超详细教程,需要前面的准备配置可以参考我之前的文章)

在此之前先对虚拟机做一个镜像保存,这很重要。

先声明一下,无论是参照谁的文件都需要注意自己路径的设置,我在root路径下分别设置了data,app,tools,software四个文件夹。把安装包放在software下,然后把解压文件和程序安装在了app下。

前面讲到了修改IP映射,我们分别做了Windows端的IP映射和虚拟机端的IP映射

现在我们来搭建离线状态下的Java和hadoop环境

本人是用Finashell连接虚拟机来进行安装的

两个我是一起进行的

首先新建系统文件夹

mkdir -p app data software tools

 首先在software下上传两个文件的压缩包(如果没有发现software文件的话可以点刷新)

如下图

 然后鼠标右击有一个上传,我这边上传的hadoop3.3.1和jdk8u311

 然后输入

cd software/

进入software文件夹下

 进行文件解压(注意目录,为了方便,一定要在software下解压)

解压到app目录下(这边有个知识点,tar -zxvf 是解压命令 后面输入hadoop然后点击电脑上的Tab键,就可以直接把名字输上去,然后输入-C ~/app,就可以解压到app下。如果摁Tab键失灵,可以查看自己的所在位置)

tar -zxvf hadoop-3.3.1.tar.gz -C ~/app


 

 输入完毕点击回车,就开始进行解压了

同上,在software下进行解压,解压到app下,也可以使用Tab键

 输入完毕点击回车,进行解压

解压完毕要进入app文件夹下

此时输入cd返回root文件夹下,然后输入cd app/进入app文件夹下

 创建软连接

 很多人对软连接都会创建错误

最主要的问题就是没有在文件所在文件夹下创建,咱们上面把Java和hadoop文件夹都解压到app下了,所以需要在app下进行软连接创建

 ln -s 命令是用来创建软连接的,rm -rf是用来删除的

同上,输入hadoop然后摁Tab键就可以直接输出后面的内容,一直到/

/后面的内容是来重命名的,我在这里命令为hadoop

然后为java创建软连接

输入ln -s jdk1.8.0_311/ java

然后输入ls进行查看

如果是这种颜色的就代表创建成功,如果出现红色的,就代表错误了。

 接着进行

环境变量的配置

输入vim /etc/profile,点击回车

进入文件内,先点击一下a键,然后摁住↓键一直到最底端

输入要配置的内容

输入内容的时候最好手打

#JAVA ENV
export JAVA_HOME=/root/app/java
export PATH=$PATH:$JAVA_HOME/bin

#HADOOP ENV
export HADOOP_HOME=/root/app/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin


 

 然后点击Esc,输入英文状态下的:

然后输入小写的wq,返回原界面

然后输入

source /etc/profile

保存一下,这步很关键!!!关系到你的配置是否保存

 保存完后

输入

vim ~/.bashrc

点击回车,进入另一个文件

 进入文件内,先点击一下a键,然后摁住↓键一直到最底端

 然后点击Esc,输入英文状态下的:

然后输入小写的wq,返回原界面

然后输入

source ~/.bashrc

保存一下,这步很关键!!!关系到你的配置是否保存

 都做完后没有错误的话就可以验证了

输入java -version和hadoop version来验证是否安装成功

java后面要跟 -version,hadoop后面要输入 version 

不然输入-V之类的会验证失败

如果输入正确都验证失败,那么需要反思一下环境配置,还有可能是压缩包的原因

 到这里Java和hadoop就配置完成啦

后续发布伪分布其他内容

有什么不懂的都可以评论,都可以解决

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
好的,下面是Hadoop安装教程-单机-分布配置-Hadoop2.6.0-Ubuntu14.04详细教程教学: 1. 安装Java Hadoop是基于Java开发的,因此需要先安装Java。可以在终端中输入以下命令进行安装: ```bash sudo apt-get update sudo apt-get install default-jdk ``` 2. 下载Hadoop 可以在Hadoop官网下载Hadoop压缩包,也可以在终端中输入以下命令进行下载: ```bash wget https://archive.apache.org/dist/hadoop/core/hadoop-2.6.0/hadoop-2.6.0.tar.gz ``` 3. 解压Hadoop 在终端中输入以下命令解压Hadoop压缩包: ```bash tar -xzvf hadoop-2.6.0.tar.gz ``` 4. 配置Hadoop环境变量 打开终端中的/etc/environment文件,并在其中添加以下内容: ```bash export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin ``` 其中,/path/to/hadoopHadoop所在的路径。保存文件后,输入以下命令使配置生效: ```bash source /etc/environment ``` 5. 配置Hadoop 进入Hadoop目录,编辑etc/hadoop/hadoop-env.sh文件。找到以下行: ```bash export JAVA_HOME=${JAVA_HOME} ``` 将其修改为: ```bash export JAVA_HOME=/usr/lib/jvm/default-java ``` 保存文件并关闭。 6. 配置HDFS 进入etc/hadoop目录,编辑hdfs-site.xml文件。添加以下内容: ```xml <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/path/to/hadoop/data/dfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/path/to/hadoop/data/dfs/datanode</value> </property> </configuration> ``` 其中,/path/to/hadoop/data为Hadoop数据存储路径。 7. 配置YARN 进入etc/hadoop目录,编辑yarn-site.xml文件。添加以下内容: ```xml <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> </configuration> ``` 8. 配置MapReduce 进入etc/hadoop目录,编辑mapred-site.xml文件。添加以下内容: ```xml <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` 9. 格式化HDFS 在终端中输入以下命令格式化HDFS: ```bash hdfs namenode -format ``` 10. 启动Hadoop 在终端中输入以下命令启动Hadoop: ```bash start-all.sh ``` 11. 验证Hadoop 在浏览器中输入http://localhost:50070,即可访问Hadoop Web UI。在该页面中可以查看HDFS的状态、数据块、节点等信息。 以上就是Hadoop安装教程-单机-分布配置-Hadoop2.6.0-Ubuntu14.04详细教程教学。希望对你有所帮助!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值