hadoop伪分布式部署

本文档详细介绍了如何在单台机器上部署Hadoop的伪分布式环境,包括安装包和JDK的准备,创建用户和目录,配置JAVA_HOME,进行文件配置,设置SSH无密码信任,启动HDFS和YARN,并进行一些优化操作。
摘要由CSDN通过智能技术生成
1.安装包准备

安装包:http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.16.2.tar.gz

jdk:链接:https://pan.baidu.com/s/11dt1k_hK17wv8ptCkeGfVg
提取码:dair

2.环境准备
2.1 创建用户/目录

[root@hadoop001 ~]# useradd wzj
[root@hadoop001 ~]# su - wzj
Last login: Mon Dec 2 10:03:41 CST 2019 on pts/0
[wzj@hadoop001 ~]$

[wzj@hadoop001~]$ mkdir app software sourcecode log tmp data lib
[wzj@hadoop001~]$ ll
total 0
drwxrwxr-x 2 wzj wzj 6 Nov 27 21:32 app         解压的文件夹  软连接
drwxrwxr-x 2 wzj wzj 6 Nov 27 21:32 data        数据
drwxrwxr-x 2 wzj wzj 6 Nov 27 21:32 lib         第三方的jar
drwxrwxr-x 2 wzj wzj 6 Nov 27 21:32 log         日志文件夹
drwxrwxr-x 2 wzj wzj 6 Nov 27 21:32 software    压缩包
drwxrwxr-x 2 wzj wzj 6 Nov 27 21:32 sourcecode  源代码编译
drwxrwxr-x 2 wzj wzj 6 Nov 27 21:32 tmp         临时文件夹
2.2 上传/解压压缩包

hadoop安装包上传解压

[wzj@hadoop001 ~]$ cd software/    ###安装包rz上传至software文件夹
[wzj@hadoop001 software]$ ll
total 424176
-rw-r--r--. 1 wzj wzj 434354462 Dec  2 11:06 hadoop-2.6.0-cdh5.16.2.tar.gz
[wzj@hadoop001 software]$ tar -xzvf hadoop-2.6.0-cdh5.16.2.tar.gz -C ../app/  ###解压至app目录
[wzj@hadoop001 software]$ cd ../app
[wzj@hadoop001 app]$ ll
total 0
drwxr-xr-x. 14 wzj wzj 241 Jun  3 19:11 hadoop-2.6.0-cdh5.16.2
[wzj@hadoop001 app]$ ln -s hadoop-2.6.0-cdh5.16.2/ hadoop ###软连接
[wzj@hadoop001 app]$ ll
total 0
lrwxrwxrwx.  1 wzj wzj  23 Dec  2 11:23 hadoop -> hadoop-2.6.0-cdh5.16.2/
drwxr-xr-x. 14 wzj wzj 241 Jun  3 19:11 hadoop-2.6.0-cdh5.16.2

jdk上传解压
解压后的文件权限需要特别注意

mkdir /usr/java
cd /usr/java
rz上传   jdk-8u45-linux-x64.gz包
[root@hadoop001 java]# tar -xzvf jdk-8u45-linux-x64.gz
[root@hadoop001 java]# ll
total 169212
drwxr-xr-x. 8   10  143       255 Apr 11  2015 jdk1.8.0_45
-rw-r--r--. 1 root root 173271626 Dec  2 10:16 jdk-8u45-linux-x64.gz
[root@hadoop001 java]# chown -R  root:root jdk1.8.0_45  ###切记修正权限
[root@hadoop001 java]# ll
total 169212
drwxr-xr-x. 8 root root       255 Apr 11  2015 jdk1.8.0_45
-rw-r--r--. 1 root root 173271626 Dec  2 10:16 jdk-8u45-linux-x64.gz
2.3 java环境变量配置

[root@

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值