hadoop集群安装

最新推荐文章于 2022-08-27 23:19:53 发布

maple 枫

最新推荐文章于 2022-08-27 23:19:53 发布

阅读量302

点赞数

分类专栏：从零学习大数据

本文链接：https://blog.csdn.net/qq_33101675/article/details/81047966

版权

从零学习大数据专栏收录该内容

11 篇文章 0 订阅

订阅专栏

1、先是hadoop安装包的下载与安装
   http://hadoop.apache.org/releases.html
   我下载的是 hadoop-2.6.5.tar.gz 这个
2、cd /home/hadoop
   mkdir apps （以后hadoop，hive都解压到这里）
   把hadoop-2.6.5.tar.gz安装到上传到/home/hadoop
   并解压到 apps 里
   tar -zxvf hadoop-2.6.5.tar.gz -C apps/
3、cd /home/hadoop/apps/hadoop-2.6.5 可以看下目录
bin 自己的一些操作命令
etc 配置文件
include C语言本地库的一些头文件
lib 本地库，里面是个native
sbin 系统启动管理的命令
share 里面是我们的文档和 jar包

4、下面开始修改配置让我们的hadoop跑起来
cd etc/hadoop/
vim hadoop-env.sh 这里要配我们的环境变量
把 export JAVA_HOME=${JAVA_HOME} 因为实际项目中ssh远程方式启动的，读不到本机的JAVA_HOME，这里直接写死
改为
export JAVA_HOME=/usr/local/jdk1.8.0_171 （你自己的jdk解压后的目录）

5、vim core-site.xml
   在<configuration>里配置
<configuration>
        <property>
                <name>fs.defaultFS</name> 
                <value>hdfs://shizhan01:9000</value> 
        </property>

        <property>
                <name>hadoop.tmp.dir</name> 
                <value>/home/hadoop/hdpdata</value>
        </property>
</configuration>

6、vim hdfs-site.xml

<configuration>
        <property>
                <name>dfs.replication</name> 
                <value>2</value>    
        </property>
</configuration>

7、vim mapred-site.xml.template
<configuration>
        <property>
                <name>mapreduce.framework.name</name> 
                <value>yarn</value>    
        </property>
</configuration>

8、vim yarn-site.xml
<configuration>


        <property>
                <name>yarn.resourcemanager.hostname</name> 
                <value>shizhan01</value>
        </property>

        <property>
                <name>yarn.nodemanager.aux-services</name> 
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

9、把这些东东scp到其他机器上
cd /home/hadoop
scp -r apps shizhan02@:/home/hadoop
scp -r apps shizhan03@:/home/hadoop
scp -r apps shizhan04@:/home/hadoop

10、然后我们要把hadoop的启动命令都配置到profile里
sudo vim /etc/profile
在最后加入
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.5
在export PATH=$PATH:$JAVA_HOME/bin后面加入：
:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
source /etc/profile
scp到其他机器上
sudo scp /etc/profile shizhan02:/etc/
sudo scp /etc/profile shizhan03:/etc/
sudo scp /etc/profile shizhan04:/etc/
依次source /etc/profile

10、hdfs是一个文件系统，要做格式化
hadoop namenode -format

11、启动一个namenode（我们上面在core-site.xml里配置了namenode在shizhan01这台机器上）
cd /home/hadoop/apps/hadoop-2.6.5/sbin/
hadoop-daemon.sh start namenode
启动好了，jps看一下有没有namenode的进程