- 博客(23)
- 收藏
- 关注
RSS订阅原创 Zookeeper可视化工具ZooNavigator部署安装
zookeeper可视化工具便于元数据维护和管理。提示：以下是本篇文章正文内容，下面案例可供参考Zookeeper是一个分布式协调服务，为分布式应用程序提供了一个高可用的协调服务。在Zookeeper中，数据以树形结构存储，每个节点被称为Znode。Zookeeper保证了节点的原子性、可靠性和顺序性。配置维护服务发现命名服务分布式同步ZooNavigator是由Yahoo开发的Zookeeper可视化工具。
2023-06-13 10:34:39
842
原创 ClickHouse可视化工【ckman部署安装】
CKMan 是一个用于管理 ClickHouse 的命令行工具，它提供了一种简单方便的方式来管理 ClickHouse 集群、执行查询和监控集群状态等功能。使用 CKMan，你可以执行以下操作：1.查看集群状态：使用 CKMan 可以查看 ClickHouse 集群的状态，包括节点的健康状况、副本分布情况等。2.执行查询：CKMan 允许你在集群上执行 ClickHouse 查询。你可以输入 SQL 查询语句，并查看查询结果。
2023-06-08 15:26:25
931
原创 Zookeeper3.4.6版本升级到3.6.2版本安装与配置
由于clickhouse集群可视化ckman需求，需要将Zookeeper3.4.6版本升级到3.6.2提示：以下是本篇文章正文内容，下面案例可供参考1.升级过程一定要保持myid与zookeeper_server.pid一致2.升级过程一定要保持dataDir，dataLogDir与原版本一致3.保证数据质量和集群可用性。
2023-05-16 18:07:15
8742
1
原创 centos 7.9 RPM包部署clickhouse 20.10.3.30版本安装与配置（详细部署及问题汇总）
clickhouse集群部署及问题汇总
2023-05-11 10:53:53
1369
原创 centos 7.4下 RPM包部署CDH5.13.0安装与配置（详细部署及问题汇总）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档centos 7.4 RPM包部署CDH5.13.0安装与配置一、安装环境准备二、安装 CM 和 CDH三、启动CM服务四、初始化 Cloudera Manager五、问题汇总总结一、安装环境准备1 配置主机名(每个节点)编辑/etc/hostname，修改主机名vim /etc/hostname使用命令使其立刻生效hostname $(cat /etc/hostname)修改文件/etc/hosts，增加如下内容：vi
2021-07-29 11:03:00
1297
1
原创 该主机与 Cloudera Manager Server 失去联系的时间过长。 该主机未与 Host Monitor 建立联系
项目场景：通过CDH集群对大数据集群实行监控管理问题描述：某台服务器主机与 Cloudera Manager Server 失去联系的时间过长，到时候该主机相关实例角色（组件实例）停止，严重影响集群稳定性以及任务执行。然后重启该主机agent服务失败。[root@dn hadoop-yarn]# systemctl status cloudera-scm-agent● cloudera-scm-agent.service - LSB: Cloudera SCM Agent Loaded:
2021-06-23 16:10:41
2047
2
原创 全网最全无坑！！！ Centos8环境 安装MySQL8 （单机版详细部署及问题汇总）
@[TOC](Centos7.4环境 安装mysql5.7.27 （详细部署))文章目录检查是否已安装(强力卸载)shell命令行检查for i in $(rpm -qa|grep mysql);do rpm -e $i --nodeps;donerm -rf /var/lib/mysql && rm -rf /etc/my.cnf && rm -rf /usr/share/mysql && rm -rf /var/log/mysql# 备注：可配
2021-06-01 09:55:52
285
原创 hive锁表彻底解决（全网最全，无坑）
解决方案1.进入hive，执行 show locks;查看锁表情况，发现如下这里简单说一下：hive存在两种锁，共享锁Shared (S)和互斥锁Exclusive (X）触发共享锁的操作是可以并发执行的但是触发互斥锁，那么该表和该分区就不能并发的执行作业了。2.尝试解锁：unlock table 表名;（可以在hive命令行操作，也可以在HUE操作）报错：FAILED: Execution Error, return code 1 from org.apache.hadoop.
2021-02-02 15:35:56
12908
2
原创 CDH5.13.0版本集群安装更新spark2部署及问题汇总（史上最全，无坑）
一、简介：在我的CDH5.13.0集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。经查阅官方文档，发现spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。这里做一下安装spark2.1版本的步骤记录。二、安装准备csd包：http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.2.0.cloudera2.jarparcel包
2020-12-23 01:22:59
484
原创 最全无坑！！！ centos 7.4下 CDH5.13.0安装与配置（详细部署及问题汇总）
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档centos 7.4下 CDH5.13.0安装与配置（详细部署及问题汇总）一、安装环境准备二、安装 CM 和 CDH三、启动CM服务四、初始化 Cloudera Manager五、问题汇总总结一、安装环境准备1 配置主机名(每个节点)编辑/etc/hostname，修改主机名vim /etc/hostname使用命令使其立刻生效hostname $(cat /etc/hostname)修改文件/etc/hosts，增加如下
2020-12-03 17:54:26
590
原创 全网最全无坑！！！ Centos7.4环境 安装mysql5.7.27 （单机版详细部署及问题汇总）
centos 7.4下 CDH5.13.0安装与配置（详细部署）欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器
2020-12-03 16:26:12
350
原创 选型的看过来：Apache Kylin 与 ClickHouse 的优劣对比
Apache Kylin 与 ClickHouse 的不用应用场景前言1.技术原理2.存储3.优化策略5.总结前言Apache Kylin 和 ClickHouse 都是目前市场流行的大数据 OLAP 引擎；Kylin 最初由 eBay 中国研发中心开发，2014 年开源并贡献给 Apache 软件基金会，凭借着亚秒级查询的能力和超高的并发查询能力，被许多大厂所采用，包括美团，滴滴，携程，贝壳找房，腾讯，58同城等；OLAP 领域这两年炙手可热的 ClickHouse，由俄罗斯搜索巨头 Yandex
2020-11-25 17:34:52
2028
原创 elasticsearch安装部署（踩坑记）
[root@cdh04 mxc]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.2.4.tar.gz[root@cdh04 ~]# mkdir -p /usr/es[root@cdh04 ~]# tar -zxvf /data/team/mxc/elasticsearch-6.2.4.tar.gz -C /usr/es/[root@cdh04 ~]# sh /usr/local/elasticsea
2020-11-20 17:14:55
807
1
原创 LIVY安装部署（已实战，真实有效）
livy下载地址：http://mirror.bit.edu.cn/apache/incubator/livy/0.5.0-incubating/livy-0.5.0-incubating-bin.zip[root@cdh04 ~]# mkdir /usr/livy[root@cdh04 ~]# mkdir /var/log/livy[root@cdh04 ~]# mkdir /var/run/livy[root@cdh04 ~]# chown hdfs /var/log/livy[root@cd
2020-11-20 17:11:39
1680
原创 NPM安装一键部署
在node官网查看node最新版本，使用wget下载node最新包wget https://nodejs.org/dist/v12.18.3/node-v12.18.3-linux-x64.tar.xz解压下载的node包，分别执行以下指令[root@cdh04 ~]# mkdir /usr/node[root@cdh04 ~]# xz -d /data/team/mxc/node-v12.18.3-linux-x64.tar.xz[root@cdh04 ~]# tar -xf node-v12.
2020-11-20 17:09:34
517
原创 数据治理之安装DSS和LINKIS,QUALITIS过程中遇到的问题汇总
直接上干货，有不足之处，各路大神请留言！A.安装python后，还想安装画图模块，执行如下命令后报错[root@cdh03 ~]# python -m pip install matplotlib/usr/bin/python: No module named pip解决方法：wget https://bootstrap.pypa.io/get-pip.py然后运行[root@cdh03 mxc]# python get-pip.pyDEPRECATION: Python 2.7 reach
2020-11-10 17:23:01
6653
2
转载 KYLIN常见错误及解决方法
1.KYLIN在BUILD报错10020拒绝链接错误报错信息:org.apache.kylin.engine.mr.exception.MapReduceException: Exception: java.net.ConnectException: Call From dxt102/192.168.1.102 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more detail
2020-11-10 17:17:32
3334
原创 CentOS 安装部署MySQL 8.0 版本
CentOS 安装部署MySQL 8.0 版本！直接上干货一、Mysql8.0安装 (YUM方式)1.首先删除系统默认或之前可能安装的其他版本的mysql[root@DB-hadoop01 ~]# for i in $(rpm -qa|grep mysql);do rpm -e $i --hadoopps;done[root@DB-hadoop01 ~]# rm -rf /var/lib/mysql && rm -rf /etc/my.cnf2.安装Mysql8.0 的yum资源
2020-11-10 11:59:03
322
原创 Doris和Flink在实时数仓实践
一、Doris简介1.1 简介Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析，交互式数据分析和探索式数据分析等。令您的数据分析工作更加简单高效！1.2 架构想要了解更多doris，可以去官网学习Apache Doris，Flink我也不赘述了，说多了
2020-11-04 22:16:37
6688
4
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人