hadoop实战之安装与单机模式

164 篇文章 1 订阅
9 篇文章 0 订阅

本文地址:http://blog.csdn.net/kongxx/article/details/6891591

1. 下载最新的hadoop安装包,下载地址http://hadoop.apache.org/,这里我使用的是hadoop-0.20.203.0rc1.tar.gz版本;

2. 解压压缩包到自己的目录,比如解压到/data/fkong目录下,为了后面说明方法,这里把/data/fkong/hadoop-0.20.203.0定义为$HADOOP_HOME;

3. 修改$HADOOP_HOME/conf/hadoop-env.sh文件,将JAVA_HOME指定到正确的jdk路径上;

4. 进入$HADOOP_HOME目录下执行以下命令,将会得到hadoop命令的帮助;

$ bin/hadoop
5. 进入$HADOOP_HOME目录下执行以下命令来测试安装是否成功
  $ mkdir input
  $ cp conf/*.xml input
  $ bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'
  $ cat output/*
经过上面的步骤,如果没有出现错误就算安装成功了。




  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop单机模式安装部署可以按照以下步骤进行: 1. 创建用户:`sudo useradd -m hadoop -s /bin/bash`,设置密码:`sudo passwd hadoop`,并将用户添加到sudo组:`sudo adduser hadoop sudo`。 2. 切换到hadoop用户:`sudo su - hadoop`。 3. 更新资源库:`sudo apt-get update`。 4. 安装vim:`sudo apt-get install vim`。 5. 安装ssh:`sudo apt-get install openssh-server`。然后生成SSH密钥:`cd ~/.ssh/`,`ssh-keygen -t rsa`,并将公钥添加到授权文件:`cat id_rsa.pub >> authorized_keys`。 6. 安装Java环境:`sudo apt-get install openjdk-8-jre openjdk-8-jdk`。编辑.bashrc文件:`vim ~/.bashrc`,在文件第一行添加以下内容: ``` export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native" export JAVA_LIBRARY_PATH=/usr/local/hadoop/lib/native ``` 然后运行`source ~/.bashrc`使变量生效。 7. 安装hadoop:切换到/usr/local目录:`cd /usr/local`,解压下载的hadoop文件:`sudo tar -zxvf ./hadoop-2.10.1.tar.gz`,将解压后的文件夹重命名为hadoop:`sudo mv ./hadoop-2.10.1/ ./hadoop`,并将权限设置为hadoop用户:`sudo chown -R hadoop ./hadoop`。 8. 修改hadoop配置文件:`vim /usr/local/hadoop/etc/hadoop/core-site.xml`,修改以下部分: ``` <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/usr/local/hadoop/tmp</value> </property> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 9. 启动Hadoop:切换到hadoop目录:`cd /usr/local/hadoop`,格式化NameNode:`bin/hdfs namenode -format`,然后启动Hadoop:`sbin/start-dfs.sh`。 10. 检查Hadoop是否成功启动:运行`jps`命令,应该能看到NameNode、DataNode和SecondaryNameNode这三个进程。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值