设置hadoop 本地环境_设置独立(本地)Hadoop

设置hadoop 本地环境

Hadoop is designed to run on hundreds to thousands of computers inside cluster. However, Hadoop is configured to run things in a non-distributed mode as a single Java process by default. This is specially useful for debugging since distributed debugging is really a nightmare. This post introduces how to set up a standalone Hadoop environment.

Hadoop旨在在集群中的 数百至数千台计算机上运行。 但是,默认情况下,Hadoop被配置为以非分布式模式作为单个Java进程运行事物。 这对于调试特别有用,因为分布式调试确实是一场噩梦。 这篇文章介绍了如何设置独立的Hadoop环境。

1. Hadoop软件包和软件安装 (1. Hadoop package and software installation)

Follow the instruction of “1. Install needed packages” part in Hadoop Installation Tutorial to install packages. Fllow “4. Hadoop Concigurations” to configure hadoop-env.sh (this file only).

请遵循“ 1。 Hadoop安装教程中的 “安装所需的软件包”部分来安装软件包。 调剂“ 4。 Hadoop配置”中配置hadoop-env.sh(仅此文件)。

2.只需运行Hadoop! (2. Just run Hadoop!)

Just run hadoop jobs whose input and output is in local directories. We use a simple example to show how to start a Hadoop job.

只需运行hadoop作业,其输入和输出在本地目录中。 我们使用一个简单的示例来展示如何开始 Hadoop作业。

The example finds and displays every match of the given regular expression. Output is written to the given output directory.

该示例查找并显示给定正则表达式的每个匹配项。 输出被写入给定的输出目录。

$ mkdir input
$ cp conf/*.xml input
$ bin/hadoop jar hadoop-mapred-examples-0.21.0.jar grep input output '[a-z.]+'
$ cat output/*

The jar file’s name may be different depending on the Hadoop distribution’s version.

jar文件的名称可能会有所不同,具体取决于Hadoop发行版的版本。

Is it simple? Enjoy it and go further to play Fully-distributed Hadoop Installation.

简单吗? 尽情享受它,然后继续玩《 全分布式Hadoop安装》

翻译自: https://www.systutorials.com/setting-up-standalone-local-hadoop/

设置hadoop 本地环境

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值