kylin
文章平均质量分 67
向他一样rap
像他一样rap,像他一样优秀
展开
-
hadoop使用公平调度器
总计写在前面,请使用公平调度器!!!我根据时间节点来梳理一下发生了什么。原创 2024-02-02 15:42:09 · 593 阅读 · 0 评论 -
kylin启动memcached缓存
当部署kylin的机器内存不足时,可以使用memcached作为kylin的查询缓存。原创 2024-01-31 11:25:22 · 642 阅读 · 0 评论 -
kylin集群负载均衡(kylin3,hbaseRIF问题)
这里面就发现了,这个table记录了相当多的phoenix信息,而phoenix,是我以前用于测试同步数据的,现在早已没用了,而图中的那个1,就是目前仅存在的问题,进去看看。所以我想不尝试了,直接迅速快照、关闭hbase集群、删除/hbase/MasterProcWALs无用文件,删除回收站文件、添加配置、重启。但过了一会,发现了问题,我的服务器资源疯狂飙升,我想赶快停了,这下麻烦了,磁盘越来越多。我就用knox做了网关,把hbase的页面信息代理了出来,进去浏览了一圈发现了。发现了我还没办法直接删了。原创 2024-01-16 16:17:23 · 1205 阅读 · 1 评论 -
kylin集群反向代理(健康检查)
由于是同一个集群的,元数据没有变化,所以,直接将原本的kylin使用scp的方式发送到其他节点即可。说明一下,192.168.200.12是我nginx的安装的节点,192.168.200.11、192.168.200.12、192.168.200.13是我3台kylin安装的节点,7070是kylin端口。对于多个节点的查询,我需要进行一下优化,所以我最终选用了nginx,对3台kylin进行了反向代理。分别运行这段代码3次,发现两次成功,成功访问到了kylin的数据,一次失败。原创 2024-01-11 19:02:21 · 1144 阅读 · 1 评论 -
kylin集群使用nginx反向代理
由于是同一个集群的,元数据没有变化,所以,直接将原本的kylin使用scp的方式发送到其他节点即可。说明一下,192.168.200.12是我nginx的安装的节点,192.168.200.11、192.168.200.12、192.168.200.13是我3台kylin安装的节点,7070是kylin端口。对于多个节点的查询,我需要进行一下优化,所以我最终选用了nginx,对3台kylin进行了反向代理。分别运行这段代码3次,发现两次成功,成功访问到了kylin的数据,一次失败。原创 2024-01-11 13:55:00 · 897 阅读 · 1 评论 -
Apache Kylin修改默认端口
默认端口是7070,怎么修改呢,官网没有明确说明,所以,直接找启动的程序修改。找到这个页面中的7070,我试过,只有一个地方有。改成你自己的端口即可。修改后,重启kylin,然后就可以看到修改成功。原创 2024-01-05 13:55:52 · 410 阅读 · 1 评论 -
kylin3集群问题和思考(单机转集群)
由于是同一个集群的,元数据没有变化,所以,直接将原本的kylin使用scp的方式发送到其他节点即可。hive客户端也是,也要保证有hbase、zookeeper等。我在第一台设置的kylin.server.mode=job,第二台配置的kylin.server.mode=all。之前是使用的单机版,但后面查询压力过大,一个方案是改成集群。下面说一下需要注意的地方。而构建cube在每一台都可以。原创 2024-01-10 19:31:33 · 502 阅读 · 1 评论 -
kylin4.0.3升级问题
话接前文:kylin升级(3.0.1->kylin-4.0.3)-CSDN博客原本的cube太多了,换其他OLAP数据库太麻烦。相比之下,升级是一个很好的选择(官网有说明内存降低和构建时间更快的原因)。,导致经常内存溢出,kylin挂掉。设置了查询缓存在memcached,但没有解决根本的问题。kylin4 只需要资源探测和 cubing 两个步骤,就可以完成构建;并且,服务器内存也没之前高,这里就不截图了。第一个是zookeeper的路径,不要和旧版本冲突了。在旧版的kylin运行备份命令。原创 2024-01-09 14:27:38 · 978 阅读 · 0 评论 -
kylin升级(3.0.1->kylin-4.0.3)
原本的cube太多了,换其他OLAP数据库太麻烦。相比之下,升级是一个很好的选择(官网有说明内存降低和构建时间更快的原因)。,导致经常内存溢出,kylin挂掉。设置了查询缓存在memcached,但没有解决根本的问题。kylin4 只需要资源探测和 cubing 两个步骤,就可以完成构建;并且,服务器内存也没之前高,这里就不截图了。第一个是zookeeper的路径,不要和旧版本冲突了。在旧版的kylin运行备份命令。将旧的备份文件迁移到新的kylin节点。运行后会有提示,显示备份的文件在哪里。原创 2024-01-04 15:39:55 · 1139 阅读 · 0 评论 -
kylin4.0.2启动报错
我安装了kylin3和kylin4两个版本,在配置中改了hdfs路径,两个路径不同。仔细一看,原来是zookeeper的路径冲突了。注意最后一句话:缺乏作业锁。这时候就要检查配置了。原创 2024-01-04 10:15:33 · 433 阅读 · 1 评论