Kylin4.0beta版搭建报错指南

最新推荐文章于 2023-02-03 22:50:10 发布
最新推荐文章于 2023-02-03 22:50:10 发布
阅读量667 收藏
点赞数 2
分类专栏： Kylin 文章标签： kylin
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012355401/article/details/116605434
版权
Kylin 4.0 beta版在搭建过程中遇到多种错误，包括NoSuchFieldError、Spark相关ClassNotFound、7337端口访问问题、HIVE_STATS_JDBC_TIMEOUT错误及JsonSerDe类找不到等。这些问题主要由jar包版本冲突引起，尤其是kylin与CDH6.3.2及Spark2.4.6的依赖不兼容。解决办法包括替换httpcore包版本、手动添加Spark依赖到启动脚本、关闭shuffle service、重新编译Spark并替换hive相关jar包以及更改json表的序列化类。
摘要由CSDN通过智能技术生成

大部分问题是jar包版本冲突, 导致各种类找不到
根本问题是kylin4.0测试版, 依赖spark2.4.6和cdh6.3.2
spark2.4.6依赖hadoop2.7和hive1.x
cdh6.3.2自带hadoop3.0和hive2.x
或者可以试试EMR5.31, 自带spark2.4.6, 可能冲突小一些

NoSuchFieldError: INSTANCE

- java.lang.NoSuchFieldError: INSTANCE
- java.lang.NoClassDefFoundError: Could not initialize class org.apache.http.conn.ssl.SSLConnectionSocketFactory

http包冲突, INSTANCE字段在低版本包不存在
cdh6.3.2和spark2.4.6使用的都是httpcore-4.4.x以上版本, kylin4.0启动web页面的tomcat中的kylin.war包里打着一个httpcore-4.2.2.jar
解决办法: 解压war包替换httpcore包版本, 重新打war包放回tomcat里

Spark相关ClassNotFound

- java.lang.ClassNotFoundException: parquet.DefaultSource
- java.lang.ClassNotFoundException: Failed to find data source: parquet.
- yarn找不到

kylin目录下的spark相关jar包没被加载进classpath
解决办法: 修改kylin.sh启动脚本, 手动把spark依赖加进去

最低0.47元/天 解锁文章
不住在隔壁的老王
关注
专栏目录
[Hive]JsonSerde使用指南
SmartSi
04-14 7786
注意：重要的是每行必须是一个完整的JSON，一个JSON不能跨越多行，也就是说，serde不会对多行的Json有效。 因为这是由Hadoop处理文件的工作方式决定，文件必须是可拆分的，例如，Hadoop将在行尾分割文本文件。// this will work { "key" : 10 } // this will not work { "key" : 10 }2. 下载Jar使用之前先下载
FlinkCDC-Hudi:Mysql数据实时入湖全攻略二：Hudi与Spark整合时所遇异常与解决方案
m0_66705151的博客
02-14 3197
在Hudi与Spark整合的过程中，会有不少坑。本文记录Hudi与Spark整合过程中发现的坑点及其解决方案。
KYLIN使用spark构建引擎（HDP2.6.5.0环境）
bigdata_player
10-14 1083
一、搭建环境 kylin版本: 2.6.4 hdp版本：2.6.5.0 spark版本：2.3.2 二、配置 1）配置HADOOP_CONF_DIR export HADOOP_CONF_DIR=/usr/hdp/2.6.5.0-292/hadoop/conf 2）配置SPARK_HOME # spark export SPARK_HOME=/usr/hdp/2.6.5.0...
Exception in thread “main“ java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
T_Y_F_的博客
02-03 516
Exception in thread "main" java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
Spark常见报错与解决方案【三】
是故事啊~关注我~
12-07 4294
原因：数据量太大，内存不够 解决方案：(1)增大spark.executor.memory的值，减小spark.executor.cores (2)减少输入数据量，将原来的数据量分几次任务完成，每次读取其中一部分原因：(1)节点上运行的container多，每个任务shuffle write到磁盘的量大，导致磁盘满，节点重启 (2)节点其他服务多，抢占内存资源，NodeManager处于假死状态 解决方案：(1)确保节点没有过多其他服务进程 (2)扩大磁盘容量 (3)降低内存可分配量，比如为总内存的90%，
Kylin4.0 beta版部署
Mr.W的博客
05-17 424
Kylin4.0 beta版部署 新特性 Spark唯一构建引擎 引入parquet, 正在踢出HBase 可存储到HDFS 1. 准备机器 准备三台机器, 系统CentOS7, 切记, 后续安装CDH版本为6.3.2, 高版本系统不支持 改hosts, ssh, 免密登录 改用户可打开文件数量 * vi /etc/security/limits.conf * soft nofile 32728 * hard nofile 1024999 * soft n
apache kylin4.0安装与使用
lyd882的博客
09-11 3748
apache kylin4.0安装与使用 kylin4.0优势 kylin4.0架构大调整，去除了Hbase，改用hdfs parquet文件作为底层数据存储层，无需指标rowkey编码 计算及查询引擎统一，采用spark,支持spark3.1，所以cube计算查询效率比kylin3.0直接提升一倍,稳定性也高很多 存储的cube计算数据占用空间比hbase少一倍 简单查询跟3.x版本性能差不多，但对应复杂查询，性能成倍数提升（parquet及目录分区过滤） 综上，随着kylin4.0稳定版本发布，没有不升
apache kylin4.0.1 源码编译所需jar包
02-25
apache-kylin-4.0.1 源码所需jar包，一键打包。 只包含jar，不包括js相关内容 内部列表： kylin-shaded-guava-3.1.0.jar commons-configuration-1.6.jar RoaringBitmap-0.7.36-os-kylin-r1.jar commons-compiler-...
kylin4.0修改密码
最新发布
03-11
您可以通过以下步骤修改 Kylin4.0 的密码： ...1. 登录 Kylin4.0 系统。 2. 打开终端，输入命令 "passwd"。 3. 输入当前密码，然后输入新密码。 4. 确认新密码。 5. 密码修改完成。 希望对您有帮助。
java 编码 UTF-8、ISO-8859-1、GBK
05-10
ava支持UTF 8 ISO 8859 1 GBK等各种字体编码 可笔者发现Java中字体编码的问题仍难倒了不少程序员 网上虽然也有不少关于在Java中如何正确显示中文的文章 但都不够全面 笔者特意总结如下 影响Java中字体编码正确显示的有几个因素: 1 数据库的连接方式; 2 网页中使用的字体编码; 3 数据库里存放数据的字体编码; 4 Java的缺省字体编码 如果在编程中遇到不能正确显示中文时 要先弄清楚以上几项所使用的字体编码 再分析找出原因 即可解决问题 ">ava支持UTF 8 ISO 8859 1 GBK等各种字体编码 可笔者发现Java中字体编码的问题仍难倒了不少程序员 网上虽然也有不少关于在Java中如何正确显示中文的文章 但都不够全面 笔者特意总结如下 影响Java中字体编码正确显示的有 [更多]
spark连接HIveDemo
04-13
spark连接hive数据库的完整demo
java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT
z471365897的专栏
07-19 6488
xception in thread "main" java.lang.NoSuchFieldError: HIVE_STATS_JDBC_TIMEOUT at org.apache.spark.sql.hive.HiveUtils$.hiveClientConfigurations(HiveUtils.scala:197) at org.apache.spark.sql.hive.HiveUt...
Hive所有的配置总结 转载
li793829630的博客
11-23 933
hive的配置： hive.ddl.output.format：hive的ddl语句的输出格式，默认是text，纯文本，还有json格式，这个是0.90以后才出的新配置； hive.exec.script.wrapper：hive调用脚本时的包装器，默认是null，如果设置为python的话，那么在做脚本调用操作时语句会变为python hive.exec.plan：hive执行计划的文件路径，默认是null，会在运行时自动设置，形如hdfs://xxxx/xxx/xx； hive.exec.scratch
Hive中常用SerDe介绍
行走的树
07-04 3340
SerDe 是Serializer 和 Deserializer 的简称。它是 Hive用来处理记录并且将它们映射到 Hive 表中的字段数据类型。
Spark Sql（on yarn，local，standalone）
记录
04-14 972
执行如下代码报错 import org.apache.spark.sql.SparkSession /** * Created by zheng on 2020/4/14. */ object SparkSqlTest { def main(args: Array[String]): Unit = { val spark = SparkSession ...
SPARK 2.2.1 SQL处理各种数据源的案例与解读
段智华的博客
02-17 5992
 SPARK 2.2.1 SQL 处理各种数据源的案例与解读由于集团下的各个子公司在数据集成之前，使用数据有多种格式，因此需要支持多种数据来源的处理，将各个子公司的不同数据源集成到集团统一的大数据平台下。Spark SQL支持从各种数据源加载文件构建DataFrame/DataSet，以及将DataFrame/DataSet 保存到各种数据源中。在给出数据源实战案例之前，先对Spark SQL的数...
Spark Data Source V1 缺陷
zzg22936的专栏
08-31 218
 1.V1使用 SQLContext , Dataframes and RDD.  In spark 2.0 SQLContext got deprecated. It got replaced by SparkSession. Also DataFrame superseded by Dataset API. But spark has not able to update data sour...
Apache Kylin 4.0大数据分析实战教程
"大数据技术之Kylin视频教程，涵盖Kylin 4.0的安装、部署、配置及使用，包括与Hadoop/Spark、HBase、Parquet的集成，以及MDX for Kylin的介绍。" Apache Kylin是一个高性能的开源大数据分析平台，专为Hadoop生态...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值