安装Hadoop

最新推荐文章于 2024-09-11 22:16:31 发布

onesafe

最新推荐文章于 2024-09-11 22:16:31 发布

阅读量532

点赞数

分类专栏：云计算文章标签： hadoop jdk hdfs namenode ssh

本文链接：https://blog.csdn.net/pingwy/article/details/39583293

版权

云计算专栏收录该内容

5 篇文章 0 订阅

订阅专栏

一：设置本机无密码登录

cd ~/.ssh

ssh-keygen -t rsa

cp id_rsa.pub authorized_keys

验证：ssh localhost

二：安装jdk

下载jdk： http://www.oracle.com/technetwork/java/javase/downloads/jdk6-jsp-136632.html

cd /usr/local 将下载的jdk拷贝到/usr/local目录下

chmod u+x jdk-6u24-linux-i586.bin

./jdk-6u24-linux-i586.bin

vim /etc/profile 编辑/etc/profile文件添加两行

export JAVA_HOME=/usr/local/jdk

export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile

验证：java -version

三：安装hadoop

cd /usr/local

tar -zxvf hadoop-1.1.2.tar.gz

mv hadoop-1.1.2 hadoop

vim /etc/profile 编辑/etc/profile文件添加两行

export HADOOP_HOME=/usr/local/hadoop
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

source /etc/profile

编辑Hadoop配置文件

在$HADOOP_HOME/conf目录下

1, hadoop-env.sh

第9行取消注释修改为 export JAVA_HOME=/usr/local/jdk

2, core-site.xml

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop:9000</value>
        <description>change your own hostname replace hadoop</description>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>
</configuration>

将Hadoop改成你自己主机的主机名

3, hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

4, mapred-site.xml

<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>hadoop:9001</value>
        <description>change your own hostname</description>
    </property>
</configuration>

将Hadoop改成你自己主机的主机名

去除警告信息：vim /etc/profile 添加一行

export HADOOP_HOME_WARN_SUPPRESS=1