- 博客(20)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 Windows+IDEA本地调试Apache Kylin3.1.0源码调试-Coordinator(简单易操作版)
Windows+ IEDA 本地调试Apache Kylin3.1.0源码-Coordinator
2020-07-29 17:28:34
721
1
原创 Apache Kylin CUBE 剪枝优化和cuboid数量计算公式总结
kylin 聚合组优化--------1.简单情况--------------1.强制优化分步乘法,n个元素取m,结果m x n2^(N-X)2.层级优化将N个维度中X个维度设置为层级维度，则cuboid个数减少到 (X+1)*2^(N-X)3.联合维度（Joint Dimension）2 ^ (n-x + 1):从4个里面有三个2 ^(4-3 + 1)=4--------2.最优剪枝--------------解释:所有维度都能被剪枝1.必须维度+层级维度(层级数量+1)
2021-12-20 17:43:44
540
1
原创 Linux date_sub
#!/bin/bashstart_date=$1end_date=$2curent_date=''cur_time=''date_sub=$((($(date +%s -d "$end_date") - $(date +%s -d "$start_date"))/86400));for (( i = 0; i <= $date_sub; i++ )); do cur_time=$(($(date +%s -d "$start_date") + $((i * 86400)...
2021-11-09 17:07:15
1034
原创 Docker 安装启动后无法连接服务器
Docker 安装启动后服务无法连接:原因:docker0 ip 与 系统ip冲突# 查看ipifconfig解决方法重新绑定docker0 ip(docker0 不能设置为localhost):#修改ipifconfig docker0 10.1.2.xxx
2020-12-04 09:28:30
3113
原创 二、Windows+ IDEA 本地调试Apache Kylin3.1.0源码 Streaming Receiver
Windows+ IDEA 本地调试Apache Kylin3.1.0源码Streaming Receiver前置条件:需要完成Windows+ IDEA 本地调试Apache Kylin3.1.0源码-运行coordinator 这篇文档的相关部署------------------------------------------------------------------------------------------------------------------------------
2020-07-30 10:39:53
306
原创 kylin3.1.0 流式构建实时cube there is no valid date pattern for:8.1.0
WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.IllegalArgumentException: there is no valid date pattern for:8.1.0 at org.apache.kylin.common.util.DateFormat.stringToMillis(DateFormat.java:154) at org.apache.kyli...
2020-07-13 15:26:54
368
原创 每次打开idea_scala-library:2.11.8.jar异常解决方案
每次打开idea_scala-library.jar异常解决方案异常出现情况:每次打开idea都会出现该异常,不管build.sbt的内容是否发生变化,只要sbt设置了auto-import每次都会重新下载更新sbt(这应该是sbt 的bug,不应该出现这种情况).解决:将sbt 取消 自动下载更新依赖功能.说明:如果需要添加新的依赖需要手动刷新sbt即可,刷新后只要重新添加lib...
2020-02-22 18:46:51
10569
2
原创 Sbt配置本地私服,加快构建项目.搭建完成后29s项目构建完成
Sbt配置本地私服step1.需要搭建maven私服(linux))下载https://www.sonatype.com/nexus-repository-oss网站下方nexus-repository-o免费开源版安装(解压即可)配置本地maven私服 settings.xml<servers><server>&...
2020-01-12 14:32:18
707
原创 linux shell 脚本 在oracle 用户下设置定时(crontab) 不生效
#!/bin/bashsource /etc/profilesource ~/.bash_profile在脚本上加入:未加载环境变量,添加source...即可 .
2019-10-29 13:52:55
472
原创 spark2.2.0 将数据写入elasticsearch7.2.0(idea sbt 项目)
写在前面:idea sbt 项目spark2.2.0cdh6.0.1elasticsearch7.2.0step1.需要sbt依赖name := "biz_xy_diy"version := "0.1"scalaVersion := "2.11.8"resolvers ++= Seq( "Cloudera Repository" at "https://...
2019-09-05 18:39:19
1133
原创 apache kylin Type mismatch: rowtype of new rel: RecordType(VARCHAR(256) CHARACTER SET "UTF-16LE"
Type mismatch: rowtype of new rel: RecordType(VARCHAR(256) CHARACTER SET "UTF-16LE" COLLATE "UTF-16LE$en_US$primary" PROVINCEALIASNAME, DOUBLE TARGET, INTEGER D, DECIMAL(17, 19) RETURNAMOUNT) NOT NULL...
2019-07-01 19:20:12
923
原创 kylin 启动异常 Caused by: java.lang.NoClassDefFoundError: org/apache/commons/configuration/Configuration
Caused by: java.lang.NoClassDefFoundError: org/apache/commons/configuration/ConfigurationException解决:将commons-configuration-1.9.cf57559743f64f0b3a504aba449c9649.jar 复制到kylin的tomcat/lib 下cp /opt/cl...
2019-06-29 14:27:22
6075
原创 ogg add trandata ODBC error: SQLSTATE 37000 native database error 22931
. ODBC error: SQLSTATE 37000 native database error 22931. [Microsoft][SQL Server Native Client 10.0][SQL Server]正在直接执行 SQL；无游标[Microsoft][SQL Server Native Client 10.0][SQL Server]已为数据库 'hydee_xhyy' ...
2019-01-17 21:39:08
753
原创 ogg启动抽取进程提示没有添加trandata但是,使用info trandata 命名后查看结果trandata已经添加成功
解决方法:删除 extract 重新添加,重新启动即可。delete extract e1add extract e1......
2019-01-05 18:32:28
2214
原创 Kylin 检查元数据(./metastore.sh clean) 异常lang.IllegalStateException: Error to load /model_desc/bs_m1.json
java.lang.IllegalStateException: Error to load /model_desc/bs_m1.json at org.apache.kylin.metadata.MetadataManager.reloadDataModelDescAt(MetadataManager.java:602) at org.apache.kylin.metadata....
2018-11-30 17:09:54
851
原创 Apache Kylin 添加登录用户和密码(修改登录名和密码)
一、准备工作:提示：如果想要跳过第一步，直接进入第二步添加或者是修改用户名和密码。请使用该加密工具（jar包）：https://download.csdn.net/download/shtdayu/10812371Step1.创建一个maven项目 kylinStep2.添加依赖<dependency><groupId>org.springfr...
2018-11-28 10:35:39
9171
2
原创 kylin2.1.0配置hive beeline 出现异常Please set HIVE_CONF to the path which contains hive-site.xml
1.kylin配置 hive 使用beeline时出现异常在默认的配置文件中提示配置应为一下内容,但是配置后出现异常kylin.source.hive.client=beelinekylin.source.hive.beeline-params=-n root --hiveconf hive.security.authorization.sqlstd.confwhitelist.append...
2018-09-28 17:06:12
2742
原创 hive 执行授权时出现异常(GRANT CREATE ON DATABASE default TO USER hive;)
set hive.files.umask.value=0002;set hive.metastore.authorization.storage.checks=true; set hive.security.authorization.enabled=true;set hive.security.authorization.createtable.owner.grants=ALL;set hive...
2018-05-24 10:33:44
2723
1
原创 java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/
错误提示: ERROR Executor: Exception in task 0.0 in stage 0.0 (TID 0)java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSums(IILjava/nio/ByteBuffer;ILjava/nio/ByteBuffer...
2018-04-11 09:39:27
2017
sbt-launch.jar(sbt1.0.0)重新编译后,使用国内镜像下载)
2018-11-07
ui-bootstrap-tpls-2.2.0.min.js
2017-12-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人