hadoop单机版、伪分布式、完全分布式部署、HBase 完全分布式部署

1、hadoop单机版

https://www.jianshu.com/p/1352ce8c8d73 (Tested)
在hosts文件中进行主机的注册   什么也不配，所以配置什么也不改变，是单机模式。

下载

wget http://apache.fayea.com/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz
解压缩：tar xzvf hadoop-2.8.0.tar.gz -C /usr/local/

修改配置

vi /etc/profile
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/local/jdk    #具体看每台机器安装的jdk的位置

测试

rm -rf /tmp/out; hadoop jar ${HADOOP_HOME}/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar wordcount ~/install/word_test /tmp/out/

 

2、hadoop伪分布式集群

https://blog.csdn.net/cx105200/article/details/78284761(Tested)

https://www.jianshu.com/p/1352ce8c8d73 (可参考)

https://www.imooc.com/article/24911  推荐参考

 

SSH免密登录与hosts注册

• 在hosts文件中进行主机的注册

#vim /etc/hosts

127.0.0.1 hadoop-alone

• ssh-keygen -t rsa

       cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

       ssh root@hadoop-alone      (必须测试通过，可以自动登录)

 

配置文件修改

• mkdir -p /usr/local/hadoop/tmp

       修改core-site.xml, 指定defaultFS和hadoop.tmp.dir
       hadoop.tmp.dir 是 hadoop文件系统依赖的基本配置，很多配置路径都依赖它，它的默认位置在/tmp/{$user}下面。解决办法：在core-site.xml中配置 hadoop.tmp.dir 路径到持久化目录。
# vim core-site.xml

<configuration>
   <property>
      <name>hadoop.tmp.dir</name>
      <value>/usr/local/hadoop/tmp</value>
   </property>
   <property>
    <name>fs.defaultFS</name>
    <value>hdfs://hadoop-alone:9000</value>
   </property>
</configuration>

• 建立 namenode 进程的保存路径 : mkdir -p /usr/local/hadoop/dfs/name
  建立 datanode 进程的保存路径 : mkdir -p /usr/local/hadoop/dfs/data
  将保存路径配置到hdfs-site.xml

#vim hdfs-site.xml

<configuration>
   <property>
    <name>dfs.replication</name>
    <value>1</value>
   </property>
   <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:///usr/local/hadoop/dfs/name</value>
   </property>
   <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///usr/local/hadoop/dfs/data</value>
   </property>
   <property>
    <name>dfs.permissions</name>
    <value>false</value>
   </property>
</configuration>

• 在yarn-site.xml中配置nodemanager 和 resourcemanager

# vim yarn-site.xml

<configuration>
   <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>hadoop-alone:8033</value>
   </property>
   <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
   </property>
   <property>
    <name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
   <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>hadoop-alone:8025</value>
   </property>
   <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop-alone:8030</value>
   </property>
   <property>
    <name>yarn.resourcemanager.address</name>
    <value>hadoop-alone:8050</value>
   </property>
   <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>hadoop-alone:8030</value>
   </property>
   <property>
     <name>yarn.resourcemanager.webapp.address</name>
     <value>hadoop-alone:8088</value>
   </property>
   <property>
    <name>yarn.resourcemanager.webapp.https.address</name>
    <value>hadoop-alone:8090</value>
   </property>
</configuration>

建议使用 /usr/local/hadoop/tmp  而非  /usr/data/hadoop/tmp 这种，避免各种权限问题引起的麻烦。
 

测试

vim input.txt    # 这个随便构造一个待统计的文本文件就好。
hello java
hello java
hello c
hello c++
hello python
hello java

hadoop fs -mkdir /input
hadoop fs -put input.txt /input/input.txt
hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input/input.txt /output
 

3、hadoop: 完全分布式环境搭建

https://www.jianshu.com/p/103705f28494

作用介绍：https://blog.csdn.net/Gamer_gyt/article/details/51758881

ResourceManage 即资源管理，在YARN中，ResourceManager负责集群中所有资源的统一管理和分配，它接收来自各个节点（NodeManager）的资源汇报信息，并把这些信息按照一定的策略分配给各个应用程序（实际上是ApplicationManager）。

NM是ResourceManager在每台机器上的代理，负责容器管理，并监控它们的资源使用情况，以及向ResourceManager/Scheduler提供资源使用报告

几个关键点：

• /etc/hosts 参考如下：不要在127.0.0.1  这一行添加 hadoop1 否则hadoop1将会被映射到127.0.0.1。 造成DataNode连不上NameNode，因为此时NameNode仅仅监听在127.0.0.1 的9000端口，而非0.0.0.0 9000端口

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.0.12  hadoop1

192.168.0.13  hadoop2

192.168.0.15  hadoop3

 

如果出现下面的情况,hadoop1将被映射到192.168.0.15, 以前者为准。因 hosts文件是文本文件,每个地址映射占一行.每行的格式如下:  IP地址   主机或者域名   [主机的别名] [主机的别名]....

192.168.0.15  hadoop1

192.168.0.12  hadoop1

 

• 格式化文件系统
   hdfs namenode -format     #Tested 过的是在scp -r hadoop-2.7.5 root@xxx:/root/.  之前
• 如果仅仅需要HDFS，只需要 start-dfs.sh。  而不需要 start-yarn.sh。 
   start-all.sh 本质上是调用了start-dfs.sh   和 start-yarn.sh
   start-dfs.sh  主机上是 NameNode  SecondaryNameNode。  从机是 DataNode
   start-yarn.sh 主机上是 ResourceManager。  从机是 NodeManager
• 不能直接访问非80端口，用rinetd转发。
• dfs  和 yarn 的访问页面如下，其中的Live Nodes 必须> 0

 

 

 

 

 

############## HBase 完全分布式部署

参考： https://blog.csdn.net/qq_38799155/article/details/77198985

• 前提 zookeeper集群已经安装好、HDFS已经安装好
• hbase-env.sh

export JAVA_HOME=/root/jdk-1.8.0_101

export HBASE_MANAGES_ZK=false

 

• hbase-site.xml

<configuration>

<property>

        <name>hbase.rootdir</name>

        <value>hdfs://hadoop1:9000/hbase</value>

        <description>The directory shared byRegionServers.</description>

    </property>

 

    <!-- 必须。分布式集群 -->

    <property>

        <name>hbase.cluster.distributed</name>

        <value>true</value>

    </property>

  <property>

        <name>hbase.tmp.dir</name>

        <value>/root/hadoop-2.7.5/hbase/tmp</value>

  </property>

 

    <!-- 必须。配置独立Zookeeper端口 -->

    <property>

      <name>hbase.zookeeper.property.clientPort</name>

      <value>2181</value>

    </property>

 

    <!-- 必须。配置独立Zookeeper集群，本文就只有localhost -->

    <property>

      <name>hbase.zookeeper.quorum</name>

      <value>hadoop1,hadoop2,hadoop3</value>

    </property>

 

    <!-- 必须。配置独立Zookeeper数据存储路径，根据实际情况修改 -->

    <property>

      <name>hbase.zookeeper.property.dataDir</name>

      <value>/root/hadoop-2.7.5/zookeeper-data/data</value>

    </property>

 

    <!-- 可选。若需要打开Web UI，则设置该属性 -->

    <property>

        <name>hbase.master.info.port</name>

        <value>60010</value>

    </property>

 

</configuration>

 

• regionservers 

hadoop2

hadoop3

• start-base.sh