在Linux系统里安装Hadoop (单节点版)

要运行hadoop,要先安装两个软件,一个是Java(1.6或更新的版本),另一个是ssh。Java需要设置好JAVA_HOME变量。


要部署Hadoop,首先当然要下载啦,下载地址:http://hadoop.apache.org/。按照网页的导航,选择最新的稳定版本下载就好了,本人选的是1.0.3版,下载的文件名为“hadoop-1.0.3-bin.tar.gz”。然好解压到你喜欢的文件夹。


进入刚刚解压的hadoop目录,编辑conf/hadoop-env.sh,将# export JAVA_HOME=...取消注释,并修改等号后的路径,使其指向你系统的Java运行路径。


编辑$HOME目录下的.bashrc文件,在最后添加以下两行:

export HADOOP_INSTALL=<path-to-hadoop>

export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin

例如你的hadoop目录在/usr/local/bin/hadoop-1.0.3,那么上面两行就是:

export HADOOP_INSTALL=/usr/local/bin/hadoop-1.0.3

export PATH=$PATH:$HADOOP_INSTALL/bin:$HADOOP_INSTALL/sbin


最后重新启动终端,输入hadoop version,如果设置正确就会出现类似以下的信息:

Hadoop 1.0.3
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.0 -r 1335192
Compiled by hortonfo on Tue May  8 20:31:25 UTC 2012
From source with checksum e6b0c1e23dcf76907c5fecb4b832f3be


这样hadoop就算安装成功啦。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 安装Hadoop和集群节点,请参考以下步骤: 1. 下载Hadoop安装包并解压缩。 2. 设置Java环境变量。 3. 配置Hadoop的环境变量,并设置Hadoop的工作目录。 4. 修改Hadoop的配置文件,主要是core-site.xml、hdfs-site.xml、mapred-site.xml和yarn-site.xml。在其中配置Hadoop的文件系统、数据节点、任务节点和资源管理器等。 5. 启动Hadoop服务,并检查是否正常运行。可以使用jps命令来检查是否启动了NameNode、SecondaryNameNode、DataNode和ResourceManager等服务。 6. 节点集群搭建,需要在Hadoop上创建一个数据存储目录,并在其中创建一个数据存储空间。 7. 测试节点集群。可以使用Hadoop自带的样例程序wordcount来测试Hadoop是否正常运行。 以上是安装Hadoop和集群节点的基本步骤,具体操作可以参考相关资料或者Hadoop官方文档。 ### 回答2: Hadoop是一个分布式计算框架,用于处理大规模数据集。在Linux系统安装Hadoop需要执行以下步骤: 1.下载Hadoop:在Apache Hadoop的官网上下载最新本的Hadoop安装包。 2.安装Java:因为Hadoop是用Java编写的,所以需要保证在系统安装Java。使用以下命令来检查Java环境: $ java -version 3.解压Hadoop安装包:解压下载的Hadoop安装包,并将其移动到所需的位置。 4.配置环境变量:为了访问Hadoop命令,需要将Hadoop的bin目录添加到系统PATH环境变量中。使用以下命令来配置环境变量: $ export PATH=$PATH:/path/to/hadoop/bin/ 或者将这行代码添加到~/.bash_profile文件中,以便每次使用终端窗口时自动设置环境变量。 5.配置HadoopHadoop的配置文件位于Hadoop安装目录中,其中包含了必要的配置。主要有三个配置文件:core-site.xml,hdfs-site.xml和mapred-site.xml。 6.启动Hadoop:在节点环境中,可以使用以下命令启动Hadoop: $ hadoop namenode -format $ start-all.sh 然后在浏览器中访问http://localhost:50070来验证Hadoop是否已经运行。 如果需要安装Hadoop集群,需要在多台Linux主机上进行相同的配置和安装。其中最重要的是,需要注意Hadoop集群中每台机器的主机名、IP地址以及ssh连接。需要保证每台机器都可以通过ssh互相访问,因为Hadoop的多节点环境需要使用ssh进行通信。另外,需要在每台机器上配置相同的Hadoop环境变量,并确保每个节点都有相同的配置文件。在集群环境中,启动Hadoop的命令不同,需要使用start-dfs.sh和start-mapred.sh。使用以下命令分别在每台机器上启动Hadoop: $ start-dfs.sh $ start-mapred.sh 最后,在浏览器中访问任一节点的http://<hostname>:50070,以验证Hadoop是否已经在集群中运行。 ### 回答3: Hadoop是一个基于Java的开源分布式计算框架,用于处理大规模数据集。为了在Linux系统安装Hadoop和配置节点集群,需要进行如下步骤: 1. 安装Java SDK Hadoop需要Java的支持,因此首先需要安装Java SDK。可以通过以下命令在Ubuntu上安装Oracle Java 8: sudo add-apt-repository ppa:webupd8team/java sudo apt-get update sudo apt-get install oracle-java8-installer 2. Hadoop下载及解压 从Hadoop官网(http://hadoop.apache.org/)下载最新本的Hadoop,然后解压到指定目录,例如:/usr/local/hadoop。 3. 配置Hadoop环境变量 打开~/.bashrc文件,添加以下三行: export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin export PATH=$PATH:$HADOOP_HOME/sbin 然后执行以下命令使环境变量生效: source ~/.bashrc 4. 配置Hadoop节点 进入到$HADOOP_HOME/etc/hadoop目录,打开hadoop-env.sh文件并编辑以下两行内容: export JAVA_HOME=/usr/lib/jvm/java-8-oracle export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native" 然后在同一目录中创建core-site.xml文件,将以下内容添加到该文件中: <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> 然后创建hdfs-site.xml文件,将以下内容添加到该文件中: <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> </configuration> 现在在$HADOOP_HOME/sbin目录中执行以下命令启动Hadoop: start-dfs.sh start-yarn.sh 5. 测试Hadoop 执行jps命令,如果输出以下内容,则表示Hadoop已经正常启动: 2054 NameNode 2321 Jps 2223 NodeManager 2112 SecondaryNameNode 2170 ResourceManager 1994 DataNode 现在可以使用Hadoop自带的命令进行测试,例如创建一个HDFS目录并上传一个文件: hdfs dfs -mkdir /test echo "Hello World" > test.txt hdfs dfs -put test.txt /test 最后,执行以下命令停止Hadoop: stop-yarn.sh stop-dfs.sh 以上就是在Linux系统安装Hadoop及配置节点集群的详细步骤。注意,在实际的生产环境中,需要根据需要进行更加详细的配置和优化。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值