Hadoop安装

构建Hadoop的说明:

https://github.com/apache/hadoop/blob/trunk/BUILDING.txt

所需要的软件和配置

  1. Unix System
  2. JDK 1.8
  3. Maven 3.3 or later
  4. ProtocolBuffer 2.5.0
  5. CMake 3.1 or newer (if compiling native code)
  6. Zlib devel (if compiling native code)
  7. openssl devel (if compiling native hadoop-pipes and to get the best HDFS encryption performance)
  8. Internet connection for first build (to fetch all Maven and Hadoop dependencies)
    27
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop是一个开源的分布式计算系统,用于处理大规模数据集的分布式存储和处理。下面是Hadoop安装步骤: 1. 下载Hadoop:你可以从Apache官方网站上下载Hadoop的最新版本。选择合适的版本和文件类型进行下载。 2. 解压Hadoop压缩包:将下载的压缩包解压到你想要安装Hadoop的路径下。 3. 配置环境变量:编辑你的环境变量文件(如.bashrc或.profile),将Hadoop的bin目录添加到PATH变量中。例如,在.bashrc文件中添加以下行: export HADOOP_HOME=/path/to/hadoop export PATH=$PATH:$HADOOP_HOME/bin 保存文件后,运行以下命令使其生效: source ~/.bashrc 4. 配置Hadoop:进入Hadoop安装目录,在conf目录下找到core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml这四个配置文件,进行必要的配置。主要配置项包括文件系统的URI、数据存储路径、任务调度器等。 5. 设置SSH无密码登录:Hadoop使用SSH来管理集群节点之间的通信,因此需要设置SSH无密码登录。确保你可以通过SSH无密码登录到本地和所有集群节点。 6. 格式化HDFS文件系统:在Hadoop安装目录下执行以下命令,格式化HDFS文件系统: hdfs namenode -format 7. 启动Hadoop集群:执行以下命令启动Hadoop集群: start-dfs.sh # 启动HDFS start-yarn.sh # 启动YARN 执行以上命令后,你可以通过Web界面访问Hadoop的各个组件。 以上是基本的Hadoop安装步骤,请根据自己的需求进行相应的配置和调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值