Hadoop虚拟机完全分布式安装一 (hadoop集群、hbase集群、sqoop、phoenix)

最新推荐文章于 2021-11-23 19:40:14 发布

Liyatao_BeiJing

最新推荐文章于 2021-11-23 19:40:14 发布

阅读量362

点赞数

本文链接：https://blog.csdn.net/Liyatao_BeiJing/article/details/84545763

版权

公司决定将现有数据存储，数据清洗，离线分析，在线实时查询迁移到hadoop(数据量300亿条左右)。经调研后发现需要使用hadoop集群，hbase集群，sqoop,phoenix相关技术。环境搭建demo使用的是虚拟机，系统为ubuntu,所使用软件版本为：jdk-1.8、hadoop-2.7.3、hbase-1.2.6、sqoop-1.4.7、phoenix-4.14.1。此教程所涉及到的相关参考博客/文章都会罗列在此教程中。

此篇文章为虚拟机完全分布式安装Hadoop集群教程。

目前公司涉及改造技术部分大概如下图，改造前业务流程：

改造后业务流程：

1.修改Ubuntu服务器hostname主机名，主机名和ip是一一对应的

sudo hostname hadoop1
sudo hostname hadoop2
sudo hostname hadoop3

2.在 hadoop1,hadoop2,hadoop3 上，配置hosts

 vi /etc/hosts
192.168.234.134 hadoop1
192.168.234.135 hadoop2
192.168.234.136 hadoop3

3.安装shh

sudo apt install openssh-server

4.解压JDK

tar -zxf jdk-8u111-linux-x64.tar.gz
sudo mv jdk1.8.0_181 /opt/

5.编写环境变量脚本并使其生效 (hadoop1、hadoop2、hadoop3)

sudo vim /etc/profile.d/jdk1.8.sh
加入以下jdk配置：
export JAVA_HOME=/opt/jdk1.8.0_181
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

刷新配置文件 source /etc/profile

6.集群ssh无密匙登录 (hadoop1、hadoop2、hadoop3)

sudo apt install ssh
sudo apt install rsync
ssh-keygen -t rsa //一路回车就好

7.在 Hadoop1（master角色）执行，将~/.ssh/下的id_rsa.pub公私作为认证发放到hadoop1,hadoop2,hadoop3的~/.ssh/下

ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop1
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop2
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop3

8.hadoop完全分布式集群文件配置和启动

在Hadoop1，2，3中配置Hadoop环境变量

sudo vim /etc/profile.d/hadoop2.7.3.sh
加入以下hadoop配置：
export HADOOP_HOME="/opt/hadoop-2.7.3"
export PATH="$HADOOP_HOME/bin:$PATH"
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop

9.在Hadoop1 master

tar -zxf hadoop-2.7.3.tar.gz
cd hadoop-2.7.3/etc/hadoop/
 vi hadoop-env.sh
加入以下配置：
export JAVA_HOME=/opt/jdk1.8.0_181

10.配置salves

vi slaves
加入以下配置(只需要把node节点加进来即可，master不需要加进来)：
hadoop2 
hadoop3

11.修改core-site.xml

vi core-site.xml
<configuration>
		<!-- 指定hdfs的nameservice为ns1 -->
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://hadoop1:9000</value>
        </property>
        <!-- Size of read/write buffer used in SequenceFiles. -->
        <property>
         <name>io.file.buffer.size</name>
         <value>131072</value>
       </property>
        <!-- 指定hadoop临时目录,自行创建 -->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/liyt/hadoop-2.7.3/tmp</value>
        </property>
</configuration>

12.修改hdfs-site.xml

vi hdfs-site.xml
<configuration>
    <property>
      <name>dfs.namenode.secondary.http-address</name>
      <value>hadoop1:50090</value>
    </property>
<!--文件备份数量-->
    <property>
      <name>dfs.replication</name>
      <value>2</value>
    </property>
    <property>
      <name>dfs.namenode.name.dir</name>
      <value>file:/home/liyt/hadoop-2.7.3/hdfs/name</value>
    </property>
    <property>
      <name>dfs.datanode.data.dir</name>
      <value>file:/home/liyt/hadoop-2.7.3/hdfs/data</value>
    </property>
</configuration>

13.修改yarn-site.xml (测试的话 yarn性能优化配置不需要添加)

<configuration>
	<property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
     </property>
     <property>
           <name>yarn.resourcemanager.address</name>
           <value>hadoop1:8032</value>
     </property>
     <property>
          <name>yarn.resourcemanager.scheduler.address</name>
          <value>hadoop1:8030</value>
      </property>
     <property>
         <name>yarn.resourcemanager.resource-tracker.address</name>
         <value>hadoop1:8031</value>
     </property>
     <property>
         <name>yarn.resourcemanager.admin.address</name>
         <value>hadoop1:8033</value>
     </property>
     <property>
         <name>yarn.resourcemanager.webapp.address</name>
         <value>hadoop1:8088</value>
     </property>

<!--yarn性能优化配置  要根据集群情况修改-->
<!--表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总量-->
<property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>48000</value>
</property>
<!--单个任务可申请的最少物理内存量，默认是1024（MB），如果一个任务申请的物理内存量少于该值，则该对应的值改为这个数。-->
<property>
   <name>yarn.scheduler.minimum-allocation-mb</name>
   <value>512</value>
</property>
<!--单个任务可申请的最多物理内存量，默认是8192（MB）。-->
<property>
   <name>yarn.scheduler.maximum-allocation-mb</name>
   <value>8192</value>
</property>

<!--MR ApplicationMaster占用的内存量-->
<property>
   <name>yarn.app.mapreduce.am.resource.mb</name>
   <value>1024</value>
</property>
<!--任务每使用1MB物理内存，最多可使用虚拟内存量，默认是2.1-->
<property>
     <name>yarn.nodemanager.vmem-pmem-ratio</name>
     <value>3</value>
 </property>
<!--表示该节点上YARN可使用的虚拟CPU个数，默认是8，注意，目前推荐将该值设值为与物理CPU核数数目相同。如果你的节点CPU核数不够8个，则需要调减小这个值，而YARN不会智能的探测节点的物理CPU总数。-->
<property>
     <name>yarn.nodemanager.resource.cpu-vcores</name>
     <value>24</value>
 </property>
</configuration>

14.拷贝并修改mapred-site.xml(测试的话 mapreduce性能优化配置不需要添加)

vi mapred-site.xml
<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop1:10020</value>
  </property>
  <property>
          <name>mapreduce.jobhistory.address</name>
          <value>hadoop1:19888</value>
  </property>
<!--mapreduce性能优化配置  要根据集群情况修改-->
<!--每个Map Task需要的内存量-->
  <property>
        <name>mapreduce.map.memory.mb</name>
        <value>1024</value>
  </property>
<!--每个Reduce Task需要的内存量-->
  <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>1024</value>
  </property>
</configuration>

15.复制Hadoop配置好的包到其他Linux主机

scp -r hadoop-2.7.3 hadoop2:/home/liyt/
scp -r hadoop-2.7.3 hadoop3:/home/liyt/

16.将每个Hadoop包sudo mv移动到/opt/路径下。不要sudo cp，注意权限。

sudo mv hadoop-2.7.3 /opt/

17.（hadoop1、Hadoop2、hadoop3）修改/etc/profile

sudo vim /etc/profile

在文件底部追加以下配置：
  export JAVA_HOME=/opt/jdk1.8.0_181
  export HADOOP_HOME=/opt/hadoop-2.7.3
  export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$HADOOP_HOME/sbin:$PATH

source /etc/profile #更新修改profile文件

18.格式化节点，在hadoop1上执行

liyt@ubuntu:/opt/hadoop-2.7.3$  hdfs namenode -format

19.hadoop集群全部启动 hadoop1 master节点下执行

liyt@ubuntu:/opt/hadoop-2.7.3/sbin$ ./start-all.sh

其它节点上jps

20.访问hadoop1 查看查看master状态

在浏览器中输入http://hadoop1的ip:50070

21.访问hadoop集群地址

http://hadoop1的ip :8088/cluster/nodes

至此，hadoop集群搭建完成，下面扩展一些可能会遇到的问题，以及动态增加datanode节点方法(都已经实践过)

后续会写hbase集群、sqoop、phoenix安装及配置文章

Hadoop中DataNode没有启动解决办法

https://blog.csdn.net/u013129944/article/details/78604651

Hadoop 2.7.3 完全分布式维护-动态增加datanode篇

https://www.cnblogs.com/ilifeilong/p/7465397.html

Liyatao_BeiJing

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

Hadoop虚拟机完全分布式安装 一 (hadoop集群、hbase集群、sqoop、phoenix)

Hadoop虚拟机完全分布式安装一 (hadoop集群、hbase集群、sqoop、phoenix)