- 博客(17)
- 收藏
- 关注
RSS订阅原创 doris集群部署
由于fe.conf里面由于端口冲突的问题，当时把edit_log_port修改为9050，所以需要把be.conf配置里面的heartbeat_service_port = 9050修改为heartbeat_service_port = 9070。日志默认存放在 be/log/ 目录下。如启动失败，可以通过查看 be/log/be.log 或者 be/log/be.out 查看错误信息。这里部署的是一主三从，所以是dev01节点(fe & be) ，dev02节点（be）, dev03节点（be)。
2023-04-20 14:38:41
514
原创 CDH7.1.7集成flink1.14.5
上图中出现的“Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set.”原因是环境变量没有配置导致，但是并不影响正常使用。（1）flink需要支持的jdk版本较高，本部署环境flink使用的jdk是jdk1.8.0_232版本。# 配置决定每台机器能并行运行多少个slot, 机器上一个核可以运行一个slot。-s：指定TaskManager中slot的数量。-n：指定TaskManager的数量。
2023-03-17 14:47:21
572
原创 数据仓库开发规范要点
数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量以及控制。
2022-11-29 14:14:44
178
原创 Kafka-Eagle 2.0.5安装
kafka-eagle是一个由国内团队开发的开源的可视化和管理软件。它可以同时监控多个集群、监控 Kafka 集群中 Topic 被消费的情况，并且包含 Kafka Manager 的相关功能等。可以说是既可以管理集群，又可以监控kafka的性能和消费情况，同时又支持sql查询。
2022-11-25 17:46:23
773
原创 运维自动化之ansible
Ansible是一个开源 的基于openssh的自动化配置管理工具。可以用它来配置系统，部署软件和编排更高级的IT任务，比如持续部署或零停机更新。Ansible的主要目标是简单和易用，通过Ansible可以批量管理大型运维环境。
2022-10-26 17:55:56
489
原创 CDH相关组件学习
CDH是Hadoop发行版的一种，是一套目前比较完整的、充分测试的Hadoop及其相关项目的发行版。CDH提供了Hadoop的核心元素——可扩展的存储和分布式计算——以及基于Web的用户界面和重要的企业功能。
2022-10-26 17:53:18
1187
原创 CDH中yarn的动态资源池配置
Apache Hadoop YARN （Yet Another Resource Negotiator，另一种资源协调者）是一种新的 Hadoop 资源管理器，它是一个通用资源管理系统，可为上层应用提供统一的资源管理和调度，它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
2022-10-26 17:50:45
1637
原创 Flume安装测试
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og，Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构，与Flume-og有很大不同，使用时请注意区分。
2022-10-26 17:35:58
1183
原创 CDH集群与Kerberos集成手册
kerberos是由MIT开发的提供网络认证服务的系统。它可用来为网络上的各种server提供认证服务,使得口令不再是以明文方式在网络上传输，并且联接之间通讯是加密的。它和PKI认证的原理不一样，PKI使用公钥体制(不对称密码体制)，kerberos基于私钥体制(对称密码体制)。Kerberos称为可信的第三方验证协议,意味着它运行在独立于任何客户机或服务器的服务器之上。此名称来自看守地狱入口的三头犬。
2022-10-18 14:44:39
2202
原创 Superset 1.3.2安装部署
Superset 是一款由 Airbnb 开源的“现代化的企业级 BI（商业智能） Web 应用程序”，其通过创建和分享 dashboard，为数据分析提供了轻量级的数据查询和可视化方案。
2022-10-17 10:47:31
456
原创 CDH6.2.1 集成ranger和atlas操作手册
本文档旨在描述相关CDH6.2.1集成ranger和atlas的安装配置操作，便于相关使用人员后参考
2022-10-17 10:29:50
2435
6
原创 Apache Impala学习
impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具
2022-10-13 10:23:59
392
kafka-eagle-web-1.2.9-bin.tar
2022-10-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人