一.Hadoop的安装

Hadoop 安装共有三步:

1.linux环境

2.jdk

3.配置Hadoop



一.linux环境

可以安装虚拟机,也可以装双系统,最方便的是租用云服务器,阿里云,腾讯云均可,选择linux系统就行。
window系统远程连接linux的方法,腾迅云的帮助文档写的很详细 点击打开链接


二 .jdk 

ubuntu 下安装jdk 可以使用命令 
sudo apt-get updatesudo apt-get install open jdk -7- jdk

或者
配置环境变量:

设置java环境变量
切到系统用户 #sudo su
#vim /etc/profile
修改 /etc/profile 文件
添加如下4条
1.export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64
2.export JRE_HOME=$JAVA_HOME/jre
3.export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
4.export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
注解:
1.Linux下用冒号 : 分割路径
2.$PATH / $JAVA_HOME / $JRE_HOME 是用来引用原来环境变量的值,在设置环境变量时不能把原来的值给覆盖掉
3.$CLASSPATH 中 当前目录 “.”不能丢
4.export 是把这4个变量导出为全局变量

#source /etc/profile变量立即生效
在任意目录命令javac均有显示,说明jdk配置好了
 
 
 
 

三.配置Hadoop

先下载 hadoop  命令 #wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gz
解压$ tar -zxvf hadoop-1.2.1.tar.gz
cd命令,进入解压文件的conf目录下。
需要修改4个配置文件
hadoop-env.sh ,hdfs-site.xml,core-site.xml,mapred-site.xml

根据自己的请款对应修改
hadoop-env.sh:配置jdk路径
export JAVA_HOME=/usr/lib/jvm/java-1.6.0-openjdk-amd64/

编辑conf/hdfs-site.xml,添加内容:

<configuration>
        <property>
                <name>dfs.name.dir</name>
                <value>/home/hadoop/name</value>
        </property>

        <property>
                <name>dfs.data.dir</name>
                <value>/home/hadoop/data</value>
        </property>

        <property>
                <name>dfs.replication</name>
                <value>2</value>
        </property>
</configuration>

编辑conf/core-site.xml,添加内容:

<configuration>
        <property>
                <name>fs.default.name</name>
                <value>hdfs://master.Hadoop:9000</value>
        </property>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/hadoop-1.0.4/tmp</value>
        </property>
</configuration>
 
 
可以选择把hadoop的路径也配置成环境变量
 
进入bin目录
hadoop-1.0.4/bin/hadoop namenode -format
启动
hadoop-1.0.4/bin/start-all.sh
执行jps命令
1974 JobTracker
2101 Jps
1602 NameNode
1893 SecondaryNameNode

说明已经配置好hadoop



启动过程中要输入本机密码;
可能报permission denied的错误
需要配置ssh ,先下载ssh
.配置SSH


首先查看SSH是否安装,可以直接输入SSH命令查看。
去除SSH登录密码,密码设置为空:
#ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
Generating public/private rsa key pair.
Created directory '/root/.ssh'.
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
1f:3a:89:b4:6f:2f:e1:1e:3e:80:9c:53:7b:5f:ae:93 root@DW
key转存:
#cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
即可解决!


 



  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值