kylin 读写分离构建问题

最新推荐文章于 2024-08-01 15:57:06 发布

bigdataf

最新推荐文章于 2024-08-01 15:57:06 发布

阅读量916

点赞数

文章标签： kyin

本文链接：https://blog.csdn.net/bigdataf/article/details/79429486

版权

本文介绍使用Kylin进行读写分离的设计方案，包括配置两个集群（一个用于计算，另一个用于存储），解决常见配置问题，如Java类未找到异常及查询错误等。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

kylin非常适合做读写分离设计。即需要两个集群，一个做计算，另一个做存储
注意kylin起的环境变量通过hbase加载，因此在配置上需要不通的客户端配置来保障

问题1：

java.lang.ClassNotFoundException: org.apache.kylin.engine.mr.KylinMapper

配置：
kylin.engine.mr.lib-dir指向hive的lib，新版用 kylin.engine.mr.lib-dir 代替

问题2：
查询报错

kylin  org.apache.hadoop.hbase.exceptions.UnknownProtocolException: org.apache.hadoop.hbase.exceptions.UnknownProtocolException: No registered coprocessor service found for name CubeVisitService in region

kylin 和hbase版本协处理器不匹配
http://kylin.apache.org/docs15/howto/howto_update_coprocessor.html

$KYLIN_HOME/bin/kylin.sh org.apache.kylin.storage.hbase.util.DeployCoprocessorCLI $KYLIN_HOME/lib/kylin-coprocessor-*.jar all

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

bigdataf

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Kylin 读写分离实战

Emperor_CJ的博客

09-16

281

计算集群：集群1 （hadoop , hive, ）存储集群：集群2 (hadoop, hive ,hbase) 需要core-site.xml, hbase-site.xml, hdfs-site.xml, hive-site.xml, mapred-site.xml, yarn-site.xml hbase-site.xml 从存储集群拷贝其余的配置文件全是计算集群两个集群的dfs.nameservices 不能相同在hdfs-site.xml 配置文件中需要将存储...

大数据Kylin（二）：Kylin安装使用

Lansonli（蓝深李）的博客

02-10

1050

Kylin可以在Hadoop集群的任意节点启动，可以在Master节点上运行Kylin，但是为了稳定性，建议将Kylin部署到一个干净的Hadoop client节点上，该节点上要保证有Hadoop、Hive、Hbase即可，并且当前节点和集群中其他节点可以免密访问。Kylin提供了一个创建样例Cube 脚本,脚本会创建五个样例Hive表，运行 ${KYLIN_HOME}/bin/sample.sh，此脚本会向Hive默认库中导入五个样例表，并且在Kylin中创建“learn_kylin”工程。

参与评论您还未登录，请先登录后发表或查看评论

读写分离的Kylin多维分析平台的搭建.docx

04-13

读写分离的Kylin多维分析平台的搭建,目前生产已进行实践！

基于CDH，部署Apache Kylin读写分离

12-12

257

一. 部署读写分离的契机目前公司整体项目稳定运行在CDH5.6版本上，与其搭配的Hbase1.0.0无法正确运行Kylin，原因是Kylin只满足Hbase1.1.x+版本。解决方案如下 1. 升级整体CDH版本，从而获得高版本Hbase（方案风险太大） 2. 把Hbase从CDH单独剥离出来，用原生的Hbase高版本替代（方案缺点是管理Hbase不方便，原有的应用难迁移） 3...

部署Apache Kylin读写分离

mnasd的博客

04-26

737

https://www.cnblogs.com/yongjian/p/10110119.html https://blog.51cto.com/xiaolanlan/2082991

三、kylin读写分离集群部署

zxf126126的博客

04-30

1059

1、部署图注意： 1、在kylin服务机器上hbase shell 作为存储Hbase集群的客户端，配置需要存储集群的客户端配置，cdh 的hbase配置路径在/etc/hbase/conf下，hbase-site.xml 中不能包含hdfs的信息，不然计算集群会使用Hbase的hdfs配置，只包含zk的信息即可 2、hadoop 的配置包含计算集群的所有配置，需要在hdfs-s...

基于CDH的Kylin读写分离多维分析平台搭建指南

"本文档详述了如何在CDH5.7.1环境中构建一个采用读写分离策略的Kylin多维分析平台。该平台已经在生产环境中得到应用，涉及的步骤包括主机规划与配置、基础组件安装、CDH组件安装、Kylin集群部署以及样例测试。搭建...

Kylin系列(一)入门

破损的天堂鸟博客

07-21

752

Kylin是一个开源的分布式分析引擎，最早由eBay开发，旨在解决大数据系统中TB级别数据的分析需求。它提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力，使得对超大规模数据集的分析变得可能。

kylin跨集群配置实现读写分离

weixin_33851604的博客

03-05

369

社区提供的读写分离架构图如下：通过架构图可以看到Kylin会访问两个集群的HDFS，建议两个集群的NameService务必不能相同，尤其是集群启用NameNode HA时，相同的NameService会导致组件在跨集群访问HDFS时因无法区分NameService而出现问题。两个集群：cluster1(hive集群):hdfs.hive,yarn,zookeeper,mrcluster2(hb...

上手步骤解析，快速实现 Hive 数据库表的读写分离！

最新发布

亚马逊云科技专栏

08-01

166

背景为了在 Hive 数据库中实现对数据表操作的细粒度控制，我们在创建 Amazon EMR 集群的时候，需要启用 Kerberos 和 Apache Ranger 等安全组件。默认情况下，集群本身并不会具备细粒度的控制，例如对数据表的增删改查操作等。但是，引入 Kerberos 和 Apache Ranger 会让系统变的更复杂，管理和运维难道也增加。有时候我们可能并不需要对数据表中的内容进行非...

分析型数据仓库中读写分离的实现

CSDN研发技术

11-24

8263

本文作者为神策数据（ID：SensorsDataCrop）资深研发工程师张广强，版权归神策数据所有。和以 MySQL 为代表的传统事务型数据库相比，数据仓库有一个很大的特点，就是主要面向批量写和查询进行优化，可以不支持更新、事务这些高级特性。一些商用的数据仓库分析系统，例如 Vertica，已经可以做到千亿级数据的秒级导入和秒级查询。神策数据一直致力于帮助企业搭建数据仓库，实现数据的秒级响应，积累

清理Kylin的中间存储数据(HDFS & HBase Tables)

DataFlow范式

05-02

6260

Kylin在创建cube过程中会在HDFS上生成中间数据。另外，当我们对cube执行purge/drop/merge时，一些HBase的表可能会保留在HBase中，而这些表不再被查询，尽管Kylin会做一些自动的垃圾回收，但是它可能不会覆盖所有方面，所以需要我们能够每隔一段时间做一些离线存储的清理工作。具体步骤如下： 1. 检查哪些资源需要被清理，这个操作不会删除任何内容： ${KYL

HBase最佳实践－多租户机制简析

每个人都是一道菜。。。

11-02

2062

本篇文章转自两篇博客，因为hbase中资源的划分有三种方式，两位老师的文章都只写了其中部分。背景介绍在HBase1.1.0发布之前，HBase同一集群上的用户、表都是平等的，没有优劣之分。这种’大同’社会看起来完美，实际上有很多问题。最棘手的主要有这么两个，其一是某些业务较其他业务重要，需要在资源有限的情况下优先保证核心重要业务的正常运行，其二是有些业务在某些场景下会时常’抽风’，QPS...

kylin加载hbas的协处理器(坑)

xiaozhaoshigedasb的博客

04-15

1506

版本: CDH: 5.13 Kylin: 2.5.2 在project、model、cube构建完成后，开始查询，结果因为之前做了Hadoop的HA，所以需要更新HBase的协处理器。这个是执行查询的时候报的错: org.apache.hadoop.hbase.exceptions.UnknownProtocolException: org.apache.hadoop.hbase.exce...

HDFS 读写分离（总体架构介绍）

weixin_35792948的博客

11-13

2009

为什么HDFS需要读写分离 当前架构：目前HDFS在HA模式下的架构图如如下： HA同步机制简单介绍：客户端读写都通过RPC连接Active Namenode进行操作，Standby Namenode不具有读写的功能只负责同步操作记录（Editlog）。Editlog是Active Namenode通过RPC写到由PAXOS协议实现的一组Journalnode，然后Standby Namen...

kylin 优化

bigdataf的博客

11-08

689

简介 kylin sql的执行会在所使用的维度列在cube中选择最合适的cuboid，以最大程度节省查询时间，一个Cuboid对应着一组分析的维度，并保存了度量的聚合结果。Cube就是所有Cuboid的集合，每个节点代表一个Cuboid，每一种维度的组合，将度量做聚合运算，然后将运算的结果保存为一个物化视图，称为Cuboid。所有维度组合的Cuboid作为一个整体，被称为Cube。可以理解为，一

Kylin安装及使用

shengjk1的博客

05-26

4682

背景 : 近来公司要做报表，随简单研究一下Kylin。Kylin可谓是我泱泱中华在Apace史上耀眼的一笔。作用: Kylin是强大的OLAP分析引擎，详见官网。安装 Kylin有两种安装方式：单机及集群。本文以集群为例。单机版Kylin安装起来还是挺简单的，解压即安装。配置 1.环境变量的配置： export HADOOP_USER_NAME=hdfs

基于cdh的大数据平台，单独为kylin部署额外的hbase

freezhou1202的博客

07-15

753

正常情况下，kylin需要进行读写分离，因为kylin的工作负载分为 1.计算cube。调用mapreduce 批量计算，mapreduce需要重复落盘操作，延时时间很长，需要不断的调用cpu与io。 2. 基于kylin数据源的在线实时查询计算，基于cube的计算结果，数据存储于hbase，都是查询操作，就要求相应快，延迟低了当然假如cube的计算时间与实时查询时间能够做到完美的分离...

hbase limit api java_hbase java limit

weixin_36340890的博客

02-16

130

执行sql查询报错如下：org.apache.hadoop.hbase.exceptions.UnknownProtocolException: org.apache.hadoop.hbase.exceptions.UnknownProtocolException: No registered coprocessor service found for name CubeVisitService ...