centOS6安装hadoop

1. 把hadoop-2.6.4.tar.gz拖放到/usr/local目录下

2. 使用命令tar -zxvf hadoop-2.6.4.tar.gz解压缩,产生文件夹/usr/local/hadoop-2.6.4

3. 编辑/etc/profile,增加环境变量。记得source /etc/profile

export HADOOP_HOME=/usr/local/hadoop-2.6.4

export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

4. 修改/usr/local/hadoop-2.6.4/etc/hadoop目录下的配置文件

(1)     hadoop-env.sh

(2)     core-site.xml

         <property>

                  <name>fs.defaultFS</name>

        <value>hdfs://hadoop100:9000</value>

         </property>

         <property>

                  <name>hadoop.tmp.dir</name>

                  <value>/usr/local/hadoop-2.6.4/data/tmp</value>

         </property>

(3)     hdfs-site.xml   (从节点数量 是指备份数量)

         <property>

                  <name>dfs.replication</name>

                  <value>1</value>

         </property>

         <property>

         <name>dfs.namenode.secondary.http-address</name>

         <value>hadoop100:50090</value>

     </property>

(4)     yarn-env.sh

  (5)     yarn-site.xml

          <property>

                   <name>yarn.nodemanager.aux-services</name>

                   <value>mapreduce_shuffle</value>

          </property>

         <property>

                  <name>yarn.resourcemanager.hostname</name>

                  <value>hadoop100</value>

         </property>

(6)     mapred-env.sh

(7)     mapred-site.xml    (mapred-site.xml .template)

<property>

          <name>mapreduce.framework.name</name>

          <value>yarn</value>

</property>

(8)     slaves

5.        免密码登录

(1)     产生密钥

ssh-keygen -t rsa 不断回车

(2)     复制

ssh-copy-id hadoop100

(3)     验证

ssh  hadoop100

6.        格式化文件系统

执行:hadoop namenode -format

7.        启动

执行:start-dfs.sh

(单点启动节点 :hadoop-daemon.sh start namenode)

8.        验证

执行:jps

9、执行 mr-jobhistory-daemon.sh start historyserver启动日志归集

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
CentOS7安装Hadoop可以按照以下步骤进行: 1. 首先,确保你已经安装了Java。Hadoop需要Java环境来运行。你可以使用以下命令检查Java是否已经安装: ``` java -version ``` 如果Java未安装,请使用以下命令安装OpenJDK 8: ``` sudo yum install java-1.8.0-openjdk-devel ``` 2. 下载Hadoop软件包。你可以从Hadoop官方网站下载最新的稳定版本。使用以下命令下载Hadoop 3.3.0版本: ``` wget https://downloads.apache.org/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz ``` 3. 解压缩下载的文件: ``` tar xzf hadoop-3.3.0.tar.gz ``` 4. 将解压后的文件夹移动到适当的位置,比如`/opt`目录下: ``` sudo mv hadoop-3.3.0 /opt/hadoop ``` 5. 配置Hadoop环境变量。编辑`~/.bashrc`文件,并在文件末尾添加以下行: ``` export HADOOP_HOME=/opt/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 6. 应用环境变量的更改: ``` source ~/.bashrc ``` 7. 配置Hadoop集群。进入Hadoop的配置目录: ``` cd /opt/hadoop/etc/hadoop ``` 8. 编辑`hadoop-env.sh`文件,设置Java环境变量: ``` export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk ``` 9. 编辑`core-site.xml`文件,配置Hadoop的核心参数: ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` 10. 编辑`hdfs-site.xml`文件,配置Hadoop分布式文件系统(HDFS)的相关参数: ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> ``` 11. 配置完成后,格式化HDFS: ``` hdfs namenode -format ``` 12. 启动Hadoop集群: ``` start-dfs.sh ``` 以上是在CentOS7上安装Hadoop的基本步骤。你可以根据自己的需求进行进一步的配置和调整。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值