为啥看不到kylin on spark的日志?

最新推荐文章于 2022-06-04 09:31:53 发布
最新推荐文章于 2022-06-04 09:31:53 发布
阅读量676 收藏
点赞数
分类专栏： kylin spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mtj66/article/details/90673430
版权
本文介绍了如何修改默认配置以查看Kylin on Spark的日志。通过使用Hive命令将历史日志移动到指定路径，从而实现日志的查看。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为啥kylin on spark的日志看不到,明明在运行时是能看到的,但是停止后就看不到了呢?

在看下/user/spark/applicationHistory路径下根本没有kylin on spark 的app的日志.

先屡一下思路,自己运行的正常的spark app停止后是可以看到日志的,但是kylin on spark 却看不到,说明这个不是yarn JobHistory Server的锅,也不是spark-history-server的锅,那基本上kylin自己的问题,再加上之前kylin是需要自己配置spark,以及mr信息的参数.
所以基本上定位到kylin的spark配置部分了.

咱们具体来探个究竟:

more conf/kylin.properties  | grep spark-history
kylin.engine.spark-conf.spark.eventLog.dir=hdfs:///kylin/spark-history
kylin.engine.spark-conf.spark.history.fs.logDirectory=hdfs:///kylin/spark-history

修改默认的配置:


                

        

    

  


        

            

                

                

                了解本专栏
                
                
                  
                订阅专栏 解锁全文
                 
            

        


    



                



	

		

			

				
					
20-10-026-安装-KyLin-2.6.0-单机版安装（MAC官网下载)-spark引擎

				
			

			

				

					九师兄
				

				

					08-02
					
					730
					
				

			

		

		

			
				
文章目录1.视界1. 官网2. 安装要求2.1 软件要求2.2 硬件要求2.3 Hadoop 环境3. 本次环境4. HBASE 1.2.0安装5. kylin 安装6. 检查zk jar7. 启动Hbase8.添加依赖9.添加kylin的hadoop环境8.检查运行环境9.启动 Kylin9.1 使用 Kylin9.2 停止 Kylin10.验证11.结论Q.错误集锦问题1 无法启动
1.视界

1. 官网
安装： http://kylin.apache.org/cn/docs/install/index

			
		

	



                

            
              



	

		

			

				
					
神兽麒麟kylin驾驭指南

				
			

			

				

					东北溜达滑的博客
				

				

					12-04
					
					1174
					
				

			

		

		

			
				
​	简单介绍一下：Apache Kylin 是一个开源的分布式分析引擎 。Apache 顶级项目之一，国产的，很屌的，神兽，大家都叫他麒麟。支持多维分析，支持超大规模数据，支持亚秒级交互式分析查询，支持高并发…。
1、前言
在介绍kylin之前先介绍下数据处理分类。因为我们神兽Kylin就是ebay开发的一套OLAP系统 。那什么是OLAP呢？
1.1、OLAP和OLTP
数据处理大致可以分成两大...

			
		

	



              


  
              

                


	

		

			

				
					
Spark深入解析（八）：Spark整合YARN报错或无法查看日志

				
			

			

				

					wzc8961661的博客
				

				

					04-26
					
					4513
					
				

			

		

		

			
				
目录如果整合Yarn报错或无法查看log需做如下操作如果要整合YARN历史服务器和Spark历史服务器，则还需要如下操作配置历史日志服务器本地调试
如果整合Yarn报错或无法查看log需做如下操作
1.修改hadoop的yarn-site.xml
vim /export/servers/hadoop/etc/hadoop/yarn-site.xml
        <property>...

			
		

	





	

		

			

				
					
kylin日志

				
			

			

				

					知识的力量
				

				

					02-25
					
					1036
					
				

			

		

		

			
				
***************************2018-02-24 23:13:02,458 INFO  [Scheduler 233910569 FetcherRunner-43] threadpool.DefaultScheduler:268 : Job Fetcher: 0 should running, 0 actual running, 0 stopped, 0 ready, 0...

			
		

	



		

			
		



	

		

			

				
					
本章介绍ubuntu kylin 系统的日志文件

				
			

			

				

					天下无敌庞成勇
				

				

					09-02
					
					1106
					
				

			

		

		

			
				
日志目录地址：/var/log 下接下来给大家ll查看一下：pcy@pcy-Inspiron-5737:/var/log$ ll
总用量 4392
drwxrwxr-x 12 root              syslog    4096 9月   2 19:14 ./
drwxr-xr-x 14 root              root      4096 4月  21 06:24 ../

			
		

	





	

		

			

				
					
kylin使用的一些记录

				
			

			

				

					Chunhong Song的专栏
				

				

					09-20
					
					1058
					
				

			

		

		

			
				
1.在查看kylin的运行日志时会看到如下信息：其中INFO部分，[pool-9-thread-1]//说明当前kylin上一共创建了10个model,其中资源池中存放着9个，1个在运行。

			
		

	





	

		

			

				
					
使用AWK规整KyLin日志

				
			

			

				

					coolmsn8786的博客
				

				

					06-27
					
					340
					
				

			

		

		

			
				
我们需要解析Kylin的日志,获取查询的相关信息.
但是Kylin的日志是并发写的,也就是并发情况下,查询日志会有交叉。
另外,Kylin汇总的行需要提取出来
最后,涉及SQL的行，需要把多行合并为一行。

KyLin...

			
		

	





	

		

			

				
					
Kylin知识点总结

				
			

			

				

					默主归沙的博客
				

				

					06-04
					
					2040
					
				

			

		

		

			
				
Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供Hadoop/Spark 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由 eBay 开发并贡献至开源社区。它能在亚秒内查询巨大的表。的出现就是为了解决大数据系统中级别数据的数据分析需求，它提供之上的查询接口及多维分析()能力以支持超大规模数据，它能在亚秒内查询巨大的表。其核心是预计算，计算结果存在中。作为大数据分析神器，它也需要站在巨人的肩膀上，依赖、、、等服务。的主要优势为以下几点：的核心思想是预计算。理论基

			
		

	





	

		

			

				
					
Kylin系列（一）—— 入门

					
热门推荐

				
			

			

				

					w124374860的专栏
				

				

					09-06
					
					1万+
					
				

			

		

		

			
				
Kylin 入门到进阶

Kylin kylin构造算法 kylin构造过程 kylin维度优化 





Kylin 入门到进阶
前言
核心概念
数据仓库
传统数仓和大数据数仓的区别
OLAP和OLTP
维度和度量
维度的基数
事实表和维度表
星型模型
Kylin中维度表的设计
Cube和Cuboid


Kylin的技术架构
Kylin的核心模块
REST Server
查询引擎（Query...

			
		

	





	

		

			

				
					
kylin（四）元数据初探

				
			

			

				

					Interest1_wyt的博客
				

				

					01-09
					
					1408
					
				

			

		

		

			
				
1、kylin初始状态下kylin_metadata表信息
2、加载样例或者自己建表建模建cube，查看模型和cube在元数据表中的内容
3、构建segments，查看元信息表中对应内容
4、备份元数据
5、删除元数据，测试查询、建模、建cube等操作是否正常，如果有报错，报错信息是什么。另外kylin一般会将元数据刷到内存中。所以删除元数据后各操作可能是正常的，此时可以重启kylin来验证，并记录此时的失败信息。
6、使用备份元数据进行恢复，此时再进行各种操作查看是否正常
7（引申）、查看cubeid与r

			
		

	





	

		

			

				
					
linux上设置了log4j没有产生日志文件_Log4j系列教材 （二）- 配置讲解

				
			

			

				

					weixin_39822147的博客
				

				

					11-28
					
					304
					
				

			

		

		

			
				
步骤1:log4j.properties步骤2:TestLog4j步骤3:分析代码步骤4:解释log4j.properties步骤5:格式解释步骤 1 : log4j.properties首先在src目录下添加log4j.properties文件，这个配置文件什么含义后面再讲log4j.rootLogger=debug, stdout, Rlog4j.appender.stdout=org.apa...

			
		

	





	

		

			

				
					
如何在 Kylin 中优雅地使用 Spark

				
			

			

				

					Hadoop技术博文
				

				

					08-31
					
					754
					
				

			

		

		

			
				
前言Kylin 用户在使用 Spark的过程中，经常会遇到任务提交缓慢、构建节点不稳定的问题。为了更方便地向 Spark 提交、管理和监控任务，有些用户会使用 Livy ...

			
		

	





	

		

			

				
					
解决kylin报错：spark not found, set SPARK_HOME, or run bin/download-spark.sh

				
			

			

				

					weixin_47303949的博客
				

				

					08-19
					
					1472
					
				

			

		

		

			
				
解决办法：
在/etc/profile中加入spark 的环境变量
vi /etc/profile

添加这两行：
export SPARK_HOME=/usr/local/spark-2.4.5-bin-hadoop2.7
PATH=$PATH:${SPARK_HOME}/bin

然后source /etc/profile 使其生效




			
		

	





	

		

			

				
					
kylin2.0之spark构建cube

				
			

			

				

					Chunhong Song的专栏
				

				

					09-07
					
					4473
					
				

			

		

		

			
				
在kylin2.0中引入了构建cube的spark引擎，因此在构建cube的时候用spark代替MR。kylin2.0+spark1.6kylin2.1+spark2.1.1        kylin2.0.0+HBase1.XHadoop等的底层依赖：hdp2.4,hive,hbase,yarn1.修改Hadoop配置在kylin.properties中配置好Hadoop的配置路径（注意要新建一...

			
		

	





	

		

			

				
					
Kylin 安装以及spark cube 的创建

				
			

			

				

					妙妙的博客
				

				

					11-29
					
					2481
					
				

			

		

		

			
				
一．  准备 
下载kylin安装包 
http://www.apache.org/dyn/closer.cgi/kylin/apache-kylin-2.2.0/apache-kylin-2.2.0-bin-hbase1x.tar.gz

二．  环境 
1.  Hadoop: 2.7+ 
Hive: 0.13 - 1.2.1+ 
HBase: 0.98 - 0.99, 1.1+ 
JDK: 1...

			
		

	





	

		

			

				
					
Kylin 配置使用 Spark 构建 Cube

				
			

			

				

					CREATE_17的博客
				

				

					01-29
					
					1781
					
				

			

		

		

			
				
HDP版本：2.6.4.0
Kylin版本：2.5.1
机器：三台 CentOS-7，8G 内存
Kylin 的计算引擎除了 MapReduce ，还有速度更快的 Spark ，本文就以 Kylin 自带的示例 kylinsalescube 来测试一下 Spark 构建 Cube 的速度。



一、配置Kylin的相关Spark参数
在运行 Spark cubing 前，建议查看一下这些配置并...

			
		

	





	

		

			

				
					
kylin在启动后Web UI无法打开

				
			

			

				

					Knight
				

				

					02-21
					
					1695
					
				

			

		

		

			
				
如果启动kylin没有报错，出现这种情况，换一个ui地址

解决方案
http://hadoop102:7070/

换成
http://hadoop102:7070/kylin/login





			
		

	





	

		

			

				
					
Hive on Spark配置

				
			

			

				

					静下心来好好学习
				

				

					01-22
					
					4194
					
				

			

		

		

			
				
@ 2016-05-30





修改HIVE_HOMEconfhive-sitexml
添加spark-assembly包
额外添加几个jar包
附 编译spark-assembly包








Hive on Spark，基于Spark的Hive，实质上是将Hive默认的计算引擎MapReduce替换成Spark。Hive on Spark的设置相当简单，但是其中也是各种坑~

			
		

	





	

		

			

				
					
Apache Kylin 3.0新特性：使用Livy优雅管理Spark任务

				
			

			

				

					
				

			

		

		

			
				
"Apache Kylin 3.0版本引入了使用Apache Livy递交Spark任务的功能，解决了用户在使用Spark时遇到的任务提交问题和构建节点稳定性问题。Apache Livy是一个基于Spark的开源REST服务，允许通过REST接口提交代码片段或...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
mtj66

			
看心情

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值