Tajo：单机部署与集群部署总结

最新推荐文章于 2024-09-21 10:38:43 发布
最新推荐文章于 2024-09-21 10:38:43 发布
阅读量173 收藏
点赞数
文章标签： java 数据库 ui
原文链接：https://my.oschina.net/xhhuang/blog/893655
版权

2019独角兽企业重金招聘Python工程师标准>>> hot3.png

Tajo是韩国一个科研团队在2013年ICDE上发表的一个分布式的数据仓库系统。现在Tajo是Apache下的一个二级项目。Tajo作为Hadoop生态系统中的数据仓库系统，其设计思想和Hive有着本质的区别。是一个很有意思的系统。最近花了一周的时间部署了单机版的Tajo系统和集群版的Tajo系统。本文旨在总结安装技术及经验。

Tajo论文地址：http://ieeexplore.ieee.org/document/6544934/

Tajo官网：http://tajo.apache.org/

 

一、安装前准备

1.1 硬件系统描述

本次实验的硬件平台是一个由三节点（每个节点8GB内存+128GB SSD+3块3TB SATA）+一台千兆交换机组成的集群。

在该集群上，本人在之前已经部署了分布式的Hadoop-2.7.3、Zookeeper-3.4.9、HBase-1.2.4和MySQL。上述系统的部署详情请参考本人以下博客：

1.2 软件及版本

1）Tajo：本文部署的Tajo版本是0.11.3

进入tajo-0.11.3目录下后，有三个文件可以下载：

其中src.tar.gz文件是可以通过maven编译生成tajo-0.11.3.tar.gz安装文件的，官方文档在结合hadoop版本编译这一块写的有一些错误，所以不推荐使用src.tar.gz自己编译。可以直接下载tajo-0.11.3.tar.gz使用，亲测有效。tajo-jdbc-0.11.3.jar是提供java程序访问RDBMS类似功能的包。在这个页面只需要下载tajo-0.11.3.tar.gz和tajo-jdbc-0.11.3.jar两个文件。

2）JDK

Tajo-0.11.3对JDK的版本最低要求是1.6。由于本人之前在安装Hadoop-2.7.3已经安装了JDK 1.8。所以安装步骤不在此赘述。

3）Hadoop

Tajo-0.11.3对Hadoop的版本要求最低是2.3.0。安装过程不在此赘述。

4）Protocol Buffer

Tajo-0.11.3官方文档指明的Protocol Buffer的版本要求是2.5.0

下载地址：（需要访问外网）https://github.com/google/protobuf/releases?after=v2.6.1

如下图，直接下载protobuf-2.5.0.tar.gz即可。

解压之后执行下面命令安装即可：

./configure

make

make check

sudo make install

5）mysql-connector-java-5.1.42.tar.gz

在配置集群部署时用到

下载地址：https://dev.mysql.com/downloads/connector/j/

 

二、单机部署

2.1 解压tajo-0.11.3.tar.gz

通过命令

tar -xzvf tajo-0.11.3.tar.gz

将tajo-0.11.3.tar.gz文件解压至理想的目录，将Tajo的相关路径添加至/etc/profile文件中

sudo vi /etc/profile

在文件末尾添加如下内容：

export TAJO_HOME=/home/hadoop/tajo-0.11.3
export PATH=$PATH:$TAJO_HOME/bin

然后在执行下述命令即可

sudo source /etc/profile

2.2 相关文件配置

进入conf／目录下，conf目录下的文件如下图所示：

通过以下命令复制catalog-sites.xml、storage-site.json和tajo-site.xml三个文件

cp catalog-site.xml.template catalog-site.xml

cp storage-site.json.template storage-site.json

tajo-site.xml.template tajo-site.xml

单机部署只需要编辑tajo-env.sh文件，将hadoop路径和jdk路径添加即可运行。

下面是范例：

# Hadoop home. Required
# export HADOOP_HOME=
export HADOOP_HOME=/home/hadoop/hadoop-2.7.3


# The java implementation to use.  Required.
# export JAVA_HOME=/usr/java/default
export JAVA_HOME=/usr/java/jdk1.8.0_112

2.3 创建目录

在tajo-0.11.3目录下，使用mkdir命令创建logs、pids目录。并在tajo-site.xml文件下配置如下项：

# Where log files are stored.  $TAJO_HOME/logs by default.
# export TAJO_LOG_DIR=${TAJO_HOME}/logs
export TAJO_LOG_DIR=${TAJO_HOME}/logs

# The directory where pid files are stored. /tmp by default.
# export TAJO_PID_DIR=/var/tajo/pids
export TAJO_PID_DIR=${TAJO_HOME}/pids

配置完后直接运行start-tajo.sh即可，运行tsql命令可进入sql终端。

 

三、集群部署

集群部署master和worker要单独配置。

3.1 配置catalog存储，tajo默认将catalog存储在derby系统中，但是将catalog存储在RDBMS中能够更好的发挥其性能。因此本文将catalog存储在MySQL中。配置步骤如下：

  • 在MySQL新建Tajo数据库和Tajo用户，并赋予相关权限
mysql> create user 'tajo'@'localhost' identified by 'hadoop';
Query OK, 0 rows affected (0.00 sec)

mysql> create database tajo;
Query OK, 1 row affected (0.00 sec)

mysql> grant all on tajo.* to 'tajo'@'localhost';
Query OK, 0 rows affected (0.01 sec)
  • 配置mysql-connector-java-5.1.42.tar.gz

将下载好的mysql-connector-java-5.1.42.tar.gz文件解压，将其中的

mysql-connector-java-5.1.42-bin.jar

文件拷贝至tajo-0.11.3目录下的lib目录下

  • 配置catalog-site.xml
<!-- JDBC Common Settings -->

<!-- Please remove comments if you want JDBC-based catalog store. -->
<property>
  <name>tajo.catalog.jdbc.connection.id</name>
  <value>tajo</value>
</property>
<property>
  <name>tajo.catalog.jdbc.connection.password</name>
  <value>hadoop</value>
</property>
-->

<!-- JDBC Store Section -->

<!-- Please remove comments corresponding to your desired catalog store. -->
<!-- You must choose only one catalog store driver among them. -->

 <!-- MySQL Catalog Store Driver -->
 <property>
  <name>tajo.catalog.store.class</name>
  <value>org.apache.tajo.catalog.store.MySQLStore</value>
 </property>
 <property>
  <name>tajo.catalog.jdbc.uri</name>
  <value>jdbc:mysql://localhost:3306/tajo?rewriteBatchedStatements=true</value>
 </property>

3.2 配置tajo-site.xml

master节点和slave节点的tajo-site.xml文件配置是不一样的，本文为了方便在master节点进行配置，然后使用scp命令将tajo-0.11.3目录分发至其他slave节点。

<property>
  <name>tajo.rootdir</name>
  <value>hdfs://master:9000/tajo</value>
  <description>Base directory including system directories.</description>
</property>

<property>
  <name>tajo.master.umbilical-rpc.address</name>
  <value>master:26001</value>
  <description>TajoMaster binding address between master and workers.</description>
</property>

<property>
  <name>tajo.master.client-rpc.address</name>
  <value>master:26002</value>
  <description>TajoMaster binding address between master and clients.</description>
</property>

<property>
  <name>tajo.resource-tracker.rpc.address</name>
  <value>master:26003</value>
  <description>TajoMaster binding address between master and workers.</description>
</property>

<property>
  <name>tajo.catalog.client-rpc.address</name>
  <value>master:26005</value>
  <description>CatalogServer binding address between catalog server and workers.</description>
</property>


<property>
  <name>tajo.worker.tmpdir.locations</name>
  <value>/home/hadoop/tajo-0.11.3/tmp</value>
  <description>A base for other temporary directories.</description>
</property>


<property>
  <name>tajo.worker.resource.dfs-dir-aware</name>
  <value>true</value>
</property>

3.3 配置worker文件

worker文件指定了哪些节点是worker，配置如下：

slave1
slave2

3.4 使用scp命令分发配置好的tajo目录

scp /home/hadoop/tajo-0.11.3 hadoop@slave1:/home/hadoop/
scp /home/hadoop/tajo-0.11.3 hadoop@slave2:/home/hadoop/

 

启动start-tajo.sh命令即可启动tajo集群，在浏览器中输入master:26080即可看到tajo的web UI。如下图所示：

 

4.BUG记录

在配置Tajo集群时，本人遇到了如下问题，集群启动不了，然后报错如下：

[hadoop@master ~]$ start-tajo.sh 
Starting single TajoMaster
starting master, logging to /home/hadoop/tajo-0.11.3/logs/tajo-hadoop-master-master.out
slave1: starting worker, logging to /home/hadoop/tajo-0.11.3/logs/tajo-hadoop-worker-slave1.out
slave2: starting worker, logging to /home/hadoop/tajo-0.11.3/logs/tajo-hadoop-worker-slave2.out
Tajo master web UI: http://master:26080
Tajo Client Service: master:26002
[hadoop@master ~]$ tsql
Exception in thread "main" org.apache.tajo.exception.TajoRuntimeException: org.apache.tajo.client.v2.exception.ClientConnectionException: Connection refused: master/59.71.229.189:26002 (Notes: the IP address of the master is 59.71.229.189)
    at org.apache.tajo.client.SessionConnection.getTajoMasterConnection(SessionConnection.java:137)
    at org.apache.tajo.client.SessionConnection.<init>(SessionConnection.java:110)
    at org.apache.tajo.client.TajoClientImpl.<init>(TajoClientImpl.java:64)
    at org.apache.tajo.cli.tsql.TajoCli.<init>(TajoCli.java:255)
    at org.apache.tajo.cli.tsql.TajoCli.main(TajoCli.java:719)
Caused by: org.apache.tajo.client.v2.exception.ClientConnectionException: Connection refused: master/59.71.229.189:26002
    ... 5 more
Caused by: io.netty.channel.ConnectTimeoutException: Connection refused: master/59.71.229.189:26002
    at org.apache.tajo.rpc.NettyClientBase.makeConnectException(NettyClientBase.java:202)
    at org.apache.tajo.rpc.NettyClientBase.doReconnect(NettyClientBase.java:251)
    at org.apache.tajo.rpc.NettyClientBase.connect(NettyClientBase.java:220)
    at org.apache.tajo.rpc.RpcClientManager.newBlockingClient(RpcClientManager.java:164)
    at org.apache.tajo.client.SessionConnection.getTajoMasterConnection(SessionConnection.java:134)
    ... 4 more
[hadoop@master ~]$

查看logs目录下文件内容如下：

tajo-hadoop-master-master.out

org.apache.tajo.exception.TajoInternalError: internal error: null
	at org.apache.tajo.catalog.CatalogServer.serviceInit(CatalogServer.java:140)
	at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
	at org.apache.hadoop.service.CompositeService.serviceInit(CompositeService.java:107)
	at org.apache.tajo.master.TajoMaster.serviceInit(TajoMaster.java:213)
	at org.apache.hadoop.service.AbstractService.init(AbstractService.java:163)
	at org.apache.tajo.master.TajoMaster.main(TajoMaster.java:603)
Caused by: java.lang.reflect.InvocationTargetException
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at org.apache.tajo.catalog.CatalogServer.serviceInit(CatalogServer.java:135)
	... 5 more
Caused by: org.apache.tajo.exception.MetadataConnectionException: cannot connect metadata store 'jdbc:mysql://master:3306/tajo?rewriteBatchedStatements=true': Access denied for user 'tajo'@'master' (using password: YES)
	at org.apache.tajo.catalog.store.AbstractDBStore.<init>(AbstractDBStore.java:163)
	at org.apache.tajo.catalog.store.MySQLStore.<init>(MySQLStore.java:34)
	... 10 more
Caused by: java.sql.SQLException: Access denied for user 'tajo'@'master' (using password: YES)
	at com.mysql.jdbc.SQLError.createSQLException(SQLError.java:964)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3973)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:3909)
	at com.mysql.jdbc.MysqlIO.checkErrorPacket(MysqlIO.java:873)
	at com.mysql.jdbc.MysqlIO.proceedHandshakeWithPluggableAuthentication(MysqlIO.java:1710)
	at com.mysql.jdbc.MysqlIO.doHandshake(MysqlIO.java:1226)
	at com.mysql.jdbc.ConnectionImpl.coreConnect(ConnectionImpl.java:2194)
	at com.mysql.jdbc.ConnectionImpl.connectOneTryOnly(ConnectionImpl.java:2225)
	at com.mysql.jdbc.ConnectionImpl.createNewIO(ConnectionImpl.java:2024)
	at com.mysql.jdbc.ConnectionImpl.<init>(ConnectionImpl.java:779)
	at com.mysql.jdbc.JDBC4Connection.<init>(JDBC4Connection.java:47)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:423)
	at com.mysql.jdbc.Util.handleNewInstance(Util.java:425)
	at com.mysql.jdbc.ConnectionImpl.getInstance(ConnectionImpl.java:389)
	at com.mysql.jdbc.NonRegisteringDriver.connect(NonRegisteringDriver.java:330)
	at java.sql.DriverManager.getConnection(DriverManager.java:664)
	at java.sql.DriverManager.getConnection(DriverManager.java:247)
	at org.apache.tajo.catalog.store.MySQLStore.createConnection(MySQLStore.java:49)
	at org.apache.tajo.catalog.store.AbstractDBStore.<init>(AbstractDBStore.java:160)
	... 11 more

通过查看mysql中tajo数据库的情况以及自己结合日志的分析，最后这个错误的原因是因为在master端的catalog-site.xml文件如下一块配置错误。

 <property>
  <name>tajo.catalog.jdbc.uri</name>
  <value>jdbc:mysql://localhost:3306/tajo?rewriteBatchedStatements=true</value>
 </property>

将jdbc:mysql://localhost:3306/tajo?rewriteBatchedStatements=true配置成了

jdbc:mysql://master:3306/tajo?rewriteBatchedStatements=true

 

因为mysql是装在master本地的，而我在创建tajo数据库和用户的时候，给的权限都是localhost，因此这里出错。排查了3天，好心酸。。

 

 

转载于:https://my.oschina.net/xhhuang/blog/893655

weixin_34234823
关注
Spark笔记一：简介
arlison的博客
10-24 450
http://dblab.xmu.edu.cn/blog/1711-2/ 4. RDD之间的依赖关系 RDD中不同的操作会使得不同RDD中的分区会产生不同的依赖。RDD中的依赖关系分为窄依赖（Narrow Dependency）与宽依赖（Wide Dependency），图9-10展示了两种依赖之间的区别。 总体而言，如果父RDD的一个分区只被一个子RDD的一个分区所使用就是窄依赖，否...
spark集群启动后WorkerUI界面看不到Workers解决
tlimited的博客
06-22 1万+
最近在搭spark集群的时候，成功启动集群，但是访问master的WorkerUI界面却看不到子节点，也就是worker id那里为空的，如图： 解决这个问题，关键是改spark的conf下面的spark-env.sh文件： 注意点就是，下面的masterid必须是ip，之前填master，能启动，但是界面看不到worker。 master配置： export JAVA_HOME=/o...
hadoop集群设置
qiulinsama的博客
01-03 404
Hadoop Cluster Setup hadoop集群设置 目的   本文档描述了如何安装和配置Hadoop集群，范围从几个节点到具有数千个节点的超大集群。要使用Hadoop，您可能首先希望在一台机器上安装它(请参阅单个节点设置)。本文档不涉及安全性或高可用性等高级主题。 预备条件 安装Java。 下载hadoop的稳定版本。 安装   安装Hadoop集群通常需要在集群中的所有机器上解压...
TOMCAT中 workers.properties配置说明
yuanyuan_186的专栏
05-01 4610
一、简介： 　　每个Tomcat worker是一个服务于web server、等待执行servlet的Tomcat实例。例如我们经常 使用像Apache之类的web server转发sevlet请求给位于其后面的一个Tomcat进程（也就是前面所说 的worker）。本文详细介绍了如何配置各种类型worker和 loadbalance，并说明了各种类型worker 的特性
Hadoop3.0集群配置
沛哥儿的专栏
01-23 5343
前言 本文主要是讲述如何在上千节点下的大规模集群的安装和配置。如果你只是想尝hadoop。你可以在单台机器上进行安装。（查看单例安装） 本文不涉及安全或高可用等方面的主题。 先决条件 安装Java。想获java取匹配的hadoop版本详情查看Hadoop Wiki 。从Apache的hadoop镜像上下载稳定的版本。 安装 Hadoop集群典型安装方式包括在所有的集群机
HADOOP安装与集群简要配置
蓝胖纸
08-31 217
前提你已经安装了虚拟机！ 虚拟机有openjdk,需要完全卸载!!! 检查下自带的jdk 命令： rpm -qa |grep java rpm -qa |grep jdk rpm -qa |grep gcj 如果没有输出信息表示没有安装。 如果安装了可以使用rpm -qa | grep java | xargs rpm -e --nodeps 批量卸载所有带有Java的文件 这句命令的关键字是java 更多请访问：https://blog.csdn.net/jimuka_liu/article/detai
【Pyspark教程】SQL、MLlib、Core等模块基础使用
发现问题，并解决问题，批判性思维
05-21 5738
pyspark.SparkContext: Spark 库的主要入口点，它表示与Spark集群的一个连接，其他重要的对象都要依赖它.SparkContext存在于Driver中，是Spark功能的主要入口。代表着与Spark集群的连接，可以在集群上创建RDD，accumulators和广播变量 - pyspark.RDD: 是Spark的主要数据抽象概念，是Spark库中定义的一个抽象类。 - pyspark.streaming.StreamingContext 一个定义在Spark Streaming库中
一共81个，开源大数据处理工具汇总
热门推荐
松门一枝花
03-14 3万+
查询引擎 一、Phoenix 贡献者：：Salesforce 简介：这是一个Java中间层，可以让开发者在Apache HBase上执行SQL查询。Phoenix完全使用Java编写，代码位于GitHub上，并且提供了一个客户端可嵌入的JDBC驱动。 Phoenix查询引擎会将SQL查询转换为一个或多个HBase scan，并编排执行以生成标准的JDBC结果集。直接使用HB
史上最全的大数据学习资源(Awesome Big Data)
过往记忆大数据
09-25 2884
为了让大家更好地学习交流，过往记忆大数据花了一个周末的时间把Awesome Big Data里近 600 个大数据相关的调度、存储、计算、数据库以及可视化等介绍全部翻译了一遍，供大家学习交流。 关系型数据库管理系统 MySQL世界上最流行的开源数据库。 PostgreSQL世界上最先进的开源数据库。 Oracle Database- 对象关系数据库管理系统。 Teradat...
tajo-proxy:Tajo代理
05-12
总结来说，Tajo代理在Tajo系统中扮演着关键角色，它是客户端与Tajo集群交互的核心，负责任务调度、连接管理和负载均衡。理解并优化tajo-proxy的运行，对于提升整个Tajo系统的效率和可用性至关重要。
python-tajo-client
06-22
Python Tajo 客户端是用于与Apache Tajo数据处理系统交互的一种工具，它允许开发者通过Python编程语言来执行查询、管理数据以及进行其他相关的操作。Tajo是一个分布式、低延迟的数据处理系统，设计用于大规模的数据...
Tadpole DB Hub:基于Web的数据库协作工具-开源
04-25
原始主页：https://github.com/hangum/TadpoleForDBTools它是管理Altibase，Amazon RDS，Apache Hive，Apache Cassandra，Apache Tajo，MongoDB，CUBRID，MariaDB，MySQL，Oracle，MSSQL，SQLite，Tibero， Web...
Java企业面试题3
m0_74972727的博客
09-15 891
1. break和continue的作用(智*图) break：用于完全退出一个循环（如 for, while）或一个 switch 语句。当在循环体内遇到break语句时，程序会立即跳出当前循环体，继续执行循环之后的代码。 continue：用于跳过当前循环体中剩余的部分，并开始下一次循环。如果是在 for 循环中使用continue，则会直接进行条件判断以决定是否执行下一轮循环。 2. if分支语句和switch分支语句的异同之处(智*图) 相同点：都是用来根据不同的条件执行不同的代码块。
Arthas sysenv（查看JVM的环境变量）
最新发布
刘大猫
09-21 192
Arthas sysenv（查看JVM的环境变量）
JDK17新增语法特性
2201_76124988的博客
09-20 524
从springboot3.0开始，已经不支持JDK8，转变为JDK17参考资料：官方博客。
faiss安装 （CPU版本）
CSDN_WHB的博客
09-20 176
faiss版本 faiss-v1.7.4。
Java项目: 基于SpringBoot+mybatis+maven课程答疑系统(含源码+数据库+毕业论文)
weixin_43860634的博客
09-14 914
Java项目: 基于SpringBoot+mybatis+maven课程答疑系统(含源码+数据库+毕业论文)
面试突击-多线程和IO专题(至尊典藏版)
人生若只初相见@的博客
09-18 1467
金九银十多线程和IO大厂面试专题
Intel工程师解读：Apache Hadoop与开源大数据技术
Hadoop的成功吸引了众多开源项目的加入，例如Apache Tajo和Apache Hadoop Project，后者成为了顶级项目。YARN (Yet Another Resource Negotiator)是Hadoop的一个关键组件，它负责资源管理和调度，支持了像Impala这样...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值