Hadoop 集群修改：调整集群版本

最新推荐文章于 2024-05-06 21:57:27 发布
最新推荐文章于 2024-05-06 21:57:27 发布
阅读量818 收藏 6
点赞数
文章标签： 大数据 java 数据库
原文链接：http://www.cnblogs.com/DamianZhou/p/4184026.html
版权

目录

Hadoop 集群修改,调整集群版本

修改说明

原有的master集群，采用的不同版本的JAVA、Hadoop、HBase、Hive、Sqoop，现在需要调整到指定版本。

具体的目标版本信息如下：

工具版本
JAVAjdk1.7.0_65
Hadoophadoop-2.5.0.tar.gz
HBasehbase-0.98.6.1-hadoop2-bin.tar.gz
Hiveapache-hive-0.13.1-bin
Sqoopsqoop-1.4.5

详细步骤

提示：
在进行修改操作前，先停掉所有的hadoop的服务！

1. JDK修改

下载jdk1.7.0_65.tar.gz，放到集群中每个机器的/usr/local路径下。

如果已经有JDK，可以直接使用已有的版本。
//压缩 jdk1.7.0_65文件夹 为 jdk1.7.0_65.tar.gz
# tar -czvf jdk1.7.0_65.tar.gz jdk1.7.0_65

在该目录下，解压文件

$ tar zxvf jdk1.7.0_65.tar.gz

修改/etc/profile配置文件：

#JDK Setting
JAVA_HOME=/usr/local/jdk1.7.0_65
JAVA_BIN=/usr/local/jdk1.7.0_65/bin
PATH=$PATH:$JAVA_BIN
CLASSPATH=$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:./
export JAVA_HOME JAVA_BIN PATH CLASSPATH

执行source /etc/profile命令，执行更新。
然后执行下面的命令，检查当前的JDK配置。

$ java -version

删除压缩包

$ rm jdk1.7.0_65.tar.gz

说明：
实际操作过程中，使用的XShell连接linux机器。
执行source /etc/profile以后，系统的JDK环境并没有改变。
执行source命令以后，关闭当前session，重新打开即可。

将以上操作，运用到集群中所有机器上。

2. Hadoop修改

下载或者重新编译hadoop-2.5.0.tar.gz，将包放到/home下面并解压

$ tar zxvf hadoop-2.5.0.tar.gz

删除压缩包

$ rm hadoop-2.5.0.tar.gz

配置Hadoop：

首先修改/etc/profile文件，添加

#Hadoop Setting
export HADOOP_HOME=/home/hadoop-2.5.0
export PATH=$PATH:$HADOOP_HOME/bin

进入Hadoop配置目录

$ cd /home/hadoop-2.5.0/etc/hadoop

修改以下配置文件：

  1. hadoop-env.sh
  2. yarn-env.sh
  3. core-site.xml
  4. hdfs-site.xml
  5. mapred-site.xml 若没有该文件，可以将 mapred-site.xml.template 转换
  6. yarn-site.xml
  7. slaves 文件

编辑 hadoop-env.sh

# The java implementation to use.
export JAVA_HOME=/usr/local/jdk1.7.0_65

编辑 yarn-env.sh

# some Java parameters
export JAVA_HOME=/usr/local/jdk1.7.0_65

编辑 core-site.xml

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://master:9000</value>
  </property>
  <property>
    <name>io.file.buffer.size</name>
    <value>131072</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>file:/data/tmp</value>
    <description>Abase for other temporary directories.</description>
  </property>
  <property>
    <name>hadoop.proxyuser.hduser.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hduser.groups</name>
    <value>*</value>
  </property>
  <property>
    <name>io.compression.codecs</name>
    <value>org.apache.hadoop.io.compress.GzipCodec,
           org.apache.hadoop.io.compress.DefaultCodec,
           org.apache.hadoop.io.compress.BZip2Codec
    </value>
  </property>
</configuration>

编辑 hdfs-site.xml

<configuration>
  <property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>master:9001</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/data/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/data/dfs/data</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.webhdfs.enabled</name>
    <value>true</value>
  </property>
</configuration>

编辑 mapred-site.xml

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>master:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>master:19888</value>
  </property>
</configuration>

编辑 yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
  <property>
    <name>yarn.resourcemanager.address</name>
    <value>master:8032</value>
  </property>
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>
    <value>master:8030</value>
  </property>
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>
    <value>master:8031</value>
  </property>
  <property>
    <name>yarn.resourcemanager.admin.address</name>
    <value>master:8033</value>
  </property>
  <property>
    <name>yarn.resourcemanager.webapp.address</name>
    <value>master:8088</value>
  </property>
</configuration>

编辑 slaves 文件

slave1
slave2
slave3

将以上操作，运用到集群中所有机器上。

启动hadoop，测试运行情况。

3. HBase修改

下载或者重新编译hbase-0.98.6.1-bin.tar.gz，将包放到/home下面并解压

$ tar zxvf hbase-0.98.6.1-bin.tar.gz

删除压缩包

$ rm hbase-0.98.6.1-bin.tar.gz

配置HBase：

首先修改/etc/profile文件，添加

#HBase Setting
HBASE_HOME=/home/hbase-0.98.6.1
export PATH=$PATH:$HBASE_HOME/bin

进入HBase配置目录

$ cd /home/hbase-0.98.6.1/conf

修改以下配置文件：

  1. hbase-env.sh
  2. hbase-site.xml
  3. regionservers 文件

修改 hbase-env.sh

# The java implementation to use. Java 1.6 required.
export JAVA_HOME=/usr/local/jdk1.7.0_65
# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=true

修改 hbase-env.xml

<configuration>
    <property>
        <name>hbase.tmp.dir</name>
        <value>/data/hbase_tmp</value>
    </property>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://master:9000/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>slave1,slave2,slave3</value>
    </property>
</configuration>

修改 regionservers

slave1
slave2
slave3

将以上操作，运用到集群中所有机器上。

测试启动。

问题1：部分机器未启动

只有一个机器起了server。在未启动的机器中，Hbase log记录了错误信息如下：

2014-12-12 14:46:56,369 FATAL [regionserver60020] regionserver.HRegionServer: Master rejected startup because clock is out of sync
org.apache.hadoop.hbase.ClockOutOfSyncException: org.apache.hadoop.hbase.ClockOutOfSyncException: Server slave3,60020,1418366813077 has been rejected; Reported time is too far out of sync with master.  Time difference of 33233ms > max allowed of 30000ms

原因是，两个未启动的机器的时间和master不同步。

解决方式：
对集群中所有的机器同步时间即可。

4. Hive修改

下载或者重新编译apache-hive-0.13.1-bin.tar.gz，将包放到/home下面并解压

$ tar zxvf apache-hive-0.13.1-bin.tar.gz

删除压缩包

$ rm apache-hive-0.13.1-bin.tar.gz

配置Hive：

Hive将元数据存在关系数据库中。这里选用的是mysql：

  1. 将mysql-connector-java-5.1.34-bin.jar上传到/home/apache-hive-0.13.1-bin/lib
  2. 配置好MySQL数据库，创建数据库hive63

接下来，修改/etc/profile文件，添加

#Hive Setting
export HIVE_HOME=/home/apache-hive-0.13.1-bin
export PATH=$HIVE_HOME/bin:$PATH

进入Hive配置目录

$ cd /home/apache-hive-0.13.1-bin/conf

修改以下配置文件：

  1. hive-site.xml

编辑 hive-site.xml 文件，内容如下：
具体 IP 地址、用户名、密码等根据实际情况填写。

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://your_mysql_IP/hive63?createDatabaseIfNotExist=true</value>
    <description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>your_username</value>
    <description>username to use against metastore database</description>
</property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>your_password</value>
    <description>password to use against metastore database</description>
</property>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <!-- base hdfs path -->
    <value>hdfs://master:9000/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
</property>
<property>
    <name>hive.stats.dbclass</name>
    <value>jdbc:mysql</value>
</property>
<property>
    <name>hive.stats.jdbcdriver</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<property>
    <name>hive.stats.dbconnectionstring</name>
    <value>jdbc:mysql://your_mysql_ip:3306/tempstatsstore63</value>
</property>
<property>
    <name>hive.zookeeper.quorum</name>
    <value>slave1,slave2,slave3</value>
    <description>
        The list of ZooKeeper servers to talk to. 
        This is only needed for read/write locks.
    </description>
</property>
<property>
    <name>hive.zookeeper.client.port</name>
    <value>3888</value>
    <description>
        The port of ZooKeeper servers to talk to. 
        This is only needed for read/write locks.
    </description>
</property>
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://your_master_ip:9083</value>
    <description>
        Thrift uri for the remote metastore. 
        Used by metastore client to connect to remote metastore.
    </description>
</property>

拷贝HBase的jar包到Hive(from lib to lib)

$ cp hbase-client-0.98.6.1.jar       /home/apache-hive-0.13.1-bin/lib/
$ cp hbase-common-0.98.6.1-tests.jar /home/apache-hive-0.13.1-bin/lib/
$ cp hbase-common-0.98.6.1.jar       /home/apache-hive-0.13.1-bin/lib/
$ cp hbase-protocol-0.98.6.1.jar     /home/apache-hive-0.13.1-bin/lib/
$ cp hbase-server-0.98.6.1.jar       /home/apache-hive-0.13.1-bin/lib/
$ cp htrace-core-2.04.jar            /home/apache-hive-0.13.1-bin/lib/

将以上操作，运用到集群中所有机器上。

在 HDFS 上创建文件夹，并把依赖的 jar 包放到文件夹中

$ hdfs dfs -mkdir /hive
$ hdfs dfs -mkdir /hive/lib
$ hdfs dfs -put   /home/apache-hive-0.13.1-bin/lib/hbase-common-0.98.6.1.jar     /hive/lib
$ hdfs dfs -put   /home/apache-hive-0.13.1-bin/lib/hive-hbase-handler-0.13.1.jar /hive/lib
$ hdfs dfs -put   /home/apache-hive-0.13.1-bin/lib/zookeeper-3.4.6.jar           /hive/lib

Hive依赖HBase中的zookeeper，
需要先启动Hadoop，再启动HBase，最后启动Hive

hive 启动流程

$ nohup hive --service metastore > $HIVE_HOME/log/hive_metastore.log &

hive 远程服务启动（编程需要）

$ nohup hive --service hiveserver > $HIVE_HOME/log/hiveserver.log &

5. Sqoop修改

下载tar包到指定位置，并解压

配置环境变量
编辑/etc/profile文件，在结尾加入如下代码

export SQOOP_HOME=/home/sqoop-1.4.5
export PATH=$PATH:$SQOOP_HOME/bin

复制lib包：
包括 sqoop 和 mysql-connector

$ cp sqoop-1.4.5.jar /home/hadoop-2.5.0/share/hadoop/common
$ cp mysql-connector-java-5.1.34-bin.jar /home/hadoop-2.5.0/share/hadoop/common

修改 sqoop-env.sh(从 sqoop-env-template.sh 转换)

#Set path to where bin/hadoop is available
export HADOOP_COMMON_HOME=/home/hadoop-2.5.0 

#Set path to where hadoop-*-core.jar is available
export HADOOP_MAPRED_HOME=/home/hadoop-2.5.0 

#set the path to where bin/hbase is available
export HBASE_HOME=/home/hbase-0.98.6.1

#Set the path to where bin/hive is available
export HIVE_HOME=/home/apache-hive-0.13.1-bin

#Set the path for where zookeper config dir is (使用的是Hbase自带的zookeeper，暂不配置)
#export ZOOCFGDIR=

转载于:https://www.cnblogs.com/DamianZhou/p/4184026.html

weixin_30587025
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop数仓迁移（一）：distcp命令、分区修复
清平乐的技术专栏
08-01 1688
目前项目涉及需求：迁移Hadoop数仓（由CDH环境迁移到HDP环境），涉及到hive表的重建，以及hdfs上文件的迁移，以及元数据、分区表的修复。 一、建表 hive重建表比较简单，首先show create table tablename;然后把建表语句拷贝下来即可，这里要注意的是，特殊分割符和存储文件格式（默认textfile,项目中设计parquet格式），需要将分割语句和stored as XXX语句也加上。否则会导致hadoop集群的hive建表时的默认的存储格式不一致而报错 这里我写了一个批量
Hadoop的升级和回滚
06-09
要升级了、要回滚了、升级和回滚、Hadoop如何升级和回滚
Hadoop系列（四）Hive数据仓库安装以及替换元数据库
羽枫760的博客
10-29 655
1.安装hive单机环境 1.1下载稳定版镜像 下载地址 下载之前先看一下hive版本对应的hadoop版本。我下载的是2.3.7版本 1.2 上传服务器解压重命名 命令： tar -xzvf apache-hive-2.3.7-bin.tar.gz mv apache-hive-2.3.7-bin hive237 1.3添加hive到全局环境变量 命令： vim ~/.bashrc 添加如下配置 export HIVE_HOME=/usr/local/hadoop/hive237 #将下面这段代码追
菜鸟配置hadoop集群模式
小小博客
11-02 352
前言 这个本来是本人的云计算应用的课程作业，好吧！我承认我倒腾了半天，不过还是捣腾出来了，特此记之，方便后人。 环境配置 1.hadoop配置 首先安装虚拟机VMware Workstation Pro，然后安装镜像Ubuntu 14.04.3 LTS，系统安装完毕手动安装VMware Tools工具。 (1).首先更新软件包，执行命令： sudo apt-get update (2).配置j...
3.3 学习笔记 Hadoop集群配置
qq_62847100的博客
10-28 1117
hadoop
电商数仓项目(一) 系统规划和配置
涛博客
02-20 519
本文是基于<<尚硅谷大数据项目之电商数仓>> 写的，软件使用最新稳定版本，后续会详细介绍每个软件的详细安装配置过程以及使用中遇到的常见问题，软件原理不会做详细介绍(书中已经做了详细的介绍)。 一、 系统规划 (1) 服务器配置如下： 服务器 操作系统 CPU 内存 存储 带宽 Node01 CentOS / 7.6 x8
Hadoop集群的搭建（结束）——修改hadoop配置文件以及启动集群服务
热门推荐
小袁同学的博客
11-16 1万+
（1）修改 hadoop-env.sh 文件 （2）修改 yarn-env.sh 文件 （3）修改 core-site.xml 文件 （4）修改 hdfs-site.xml 文件 （5）修改 mapred-site.xml 文件 （6）修改 yarn-site.xml 文件 （7）修改 masters 文件 （8）修改 slaves 文件
linux环境下，集群中Hadoop版本更换
靖东的博客
09-12 3081
1.下载新版本的hadoop https://archive.apache.org/dist/hadoop/common/ 这里有各种版本的hadoop wget ..... tar -xzf ..... 将新版本的Hadoop解压在/usr/local/hadoop目录下 2.修改配置 vi $HOME/.bashrc export HADOOP_HOME
Hadoop 2.6.0升级至Hadoop 3.2.1及回滚
Deegue
07-20 2740
1、背景 计划升级Hadoop版本从2.6.0-cdh5.16.1升级至开源3.2.1。 Hive版本为2.3.6，与Hadoop3.2.1不兼容，于是测试Hive3.1.3。 2、问题 ① 启动报错 Exception in thread "main" java.lang.NoSuchMethodError: com.google.common.base.Preconditions.checkArgument(ZLjava/lang/String;Ljava/lang/Object;)V at org.
hadoop集群搭建
2302_76566085的博客
03-15 98
export JAVA_HOME=${JAVA_HOME}将此代码改为export JAVA_HOME=/opt/jdk。# export JAVA_HOME=/home/y/libexec/jdk1.6.0/将该条代码改为。十：修改hadoop的JAVA_HOME以及yarn的JAVA_HOME。四：使用命令source /etc/profile。使用命令：tar -zxvf /opt/jdk。使用命令：vi /etc/profile。删除localhost 填入以下内容。十三：设置YARN核心参数。
云计算Hadoop：快速部署Hadoop集群
07-23
资源名称：云计算Hadoop：快速部署Hadoop集群内容简介： 近来云计算越来越热门了，云计算已经被看作IT业的新趋势。云计算可以粗略地定义为使用自己环境之外的某一服务提供的可伸缩计算资源，并按使用量付费。可以...
hadoop_ansible:使用Ansible创建hadoop集群
03-22
hadoop_ansible 使用Ansible创建hadoop集群 1.在名称和数据节点中设置通用配置2.Namenode配置3.Datanode配置
详解搭建ubuntu版hadoop集群
09-15
本篇文章主要介绍了详解搭建ubuntu版hadoop集群，小编觉得挺不错的，现在分享给大家，也给大家做个参考。一起跟随小编过来看看吧
腾讯TDW:大型Hadoop集群应用
02-26
TDW（TencentdistributedDataWarehouse，腾讯分布式数据仓库）基于开源软件Hadoop和Hive进行构建，打破了传统数据仓库不能线性扩展、可控性差的局限，并且根据腾讯数据量大、计算复杂等特定情况进行了大量优化和改造...
ruoyi漏洞总结
qq_59468567的博客
05-03 608
baseurl 就有了，有的是全的 url，大多数是只给个 baseurl：prod-api，这类。js 下面有个 app.xxxxxx(一些个字母数字).js，直接里面搜。如果页面访问显示不正常，可添加默认访问路径尝试是否显示正常。若依有个特点，密码可能在前台直接显示，点击并能够成功登录。监控中存在大量接口路径，可通过未授权获取更多敏感信息在。图标和登录页面及验证码处的样式识别出若依。认证失败，无法访问系统资源。进行替换实现登录系统。数据库存在未授权访问。
ubuntu 安装单节点HBase
weixin_43632687的博客
05-06 178
8. 运行HBase shell。
kafka入门
solid_j的博客
05-06 108
本文主要介绍kafka中的一些基本概念，后面会随着学习进一步补充。
《深入理解kafka-核心设计与实践原理》第二章：生产者
qq_41157876的博客
05-06 453
整个生产者客户端由两个线程协调运行，这两个线程分别为主线程和Sender线程(发送线程)生产者客户端中一个非常重要的参数，可靠性和吞吐量之前的权衡策略，默认值acks = 1。生产者客户端能发送的消息的最大值，默认1MB。
大数据技术概述_4.大数据的应用领域
最新发布
huaqianzkh的专栏
05-06 446
主要介绍大数据在制造业、服务业、交通行业、医疗行业的应用。
hadoop集群搭建bash: hadoop: command not found
04-05
这个问题通常是因为Hadoop的二进制文件没有被正确的加入到系统的环境变量中。可以尝试以下步骤解决： 1. 确认Hadoop已经正确安装并且在正确的路径下。 2. 将Hadoop的二进制目录添加到系统的环境变量中。可以在....

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值