- 博客(17)
- 收藏
- 关注
原创 doris集群部署
由于fe.conf里面由于端口冲突的问题,当时把edit_log_port修改为9050,所以需要把be.conf配置里面的heartbeat_service_port = 9050修改为heartbeat_service_port = 9070。日志默认存放在 be/log/ 目录下。如启动失败,可以通过查看 be/log/be.log 或者 be/log/be.out 查看错误信息。这里部署的是一主三从,所以是dev01节点(fe & be) ,dev02节点(be), dev03节点(be)。
2023-04-20 14:38:41
571
原创 CDH7.1.7集成flink1.14.5
上图中出现的“Setting HADOOP_CONF_DIR=/etc/hadoop/conf because no HADOOP_CONF_DIR was set.”原因是环境变量没有配置导致,但是并不影响正常使用。(1)flink需要支持的jdk版本较高,本部署环境flink使用的jdk是jdk1.8.0_232版本。# 配置决定每台机器能并行运行多少个slot, 机器上一个核可以运行一个slot。-s:指定TaskManager中slot的数量。-n:指定TaskManager的数量。
2023-03-17 14:47:21
681
原创 数据仓库开发规范要点
数据仓库,英文名称为Data Warehouse,可简写为DW或DWH。数据仓库,是为企业所有级别的决策制定过程,提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。为需要业务智能的企业,提供指导业务流程改进、监视时间、成本、质量以及控制。
2022-11-29 14:14:44
204
原创 Kafka-Eagle 2.0.5安装
kafka-eagle是一个由国内团队开发的开源的可视化和管理软件。它可以同时监控多个集群、监控 Kafka 集群中 Topic 被消费的情况,并且包含 Kafka Manager 的相关功能等。可以说是既可以管理集群,又可以监控kafka的性能和消费情况,同时又支持sql查询。
2022-11-25 17:46:23
803
原创 运维自动化之ansible
Ansible是一个开源 的基于openssh的自动化配置管理工具。可以用它来配置系统,部署软件和编排更高级的IT任务,比如持续部署或零停机更新。Ansible的主要目标是简单和易用,通过Ansible可以批量管理大型运维环境。
2022-10-26 17:55:56
509
原创 CDH相关组件学习
CDH是Hadoop发行版的一种,是一套目前比较完整的、充分测试的Hadoop及其相关项目的发行版。CDH提供了Hadoop的核心元素——可扩展的存储和分布式计算——以及基于Web的用户界面和重要的企业功能。
2022-10-26 17:53:18
1207
原创 CDH中yarn的动态资源池配置
Apache Hadoop YARN (Yet Another Resource Negotiator,另一种资源协调者)是一种新的 Hadoop 资源管理器,它是一个通用资源管理系统,可为上层应用提供统一的资源管理和调度,它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处。
2022-10-26 17:50:45
1700
原创 Flume安装测试
Flume是Cloudera提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。当前Flume有两个版本Flume 0.9X版本的统称Flume-og,Flume1.X版本的统称Flume-ng。由于Flume-ng经过重大重构,与Flume-og有很大不同,使用时请注意区分。
2022-10-26 17:35:58
1228
原创 CDH集群与Kerberos集成手册
kerberos是由MIT开发的提供网络认证服务的系统。它可用来为网络上的各种server提供认证服务,使得口令不再是以明文方式在网络上传输,并且联接之间通讯是加密的。它和PKI认证的原理不一样,PKI使用公钥体制(不对称密码体制),kerberos基于私钥体制(对称密码体制)。Kerberos称为可信的第三方验证协议,意味着它运行在独立于任何客户机或服务器的服务器之上。此名称来自看守地狱入口的三头犬。
2022-10-18 14:44:39
2229
原创 Superset 1.3.2安装部署
Superset 是一款由 Airbnb 开源的“现代化的企业级 BI(商业智能) Web 应用程序”,其通过创建和分享 dashboard,为数据分析提供了轻量级的数据查询和可视化方案。
2022-10-17 10:47:31
481
原创 CDH6.2.1 集成ranger和atlas操作手册
本文档旨在描述相关CDH6.2.1集成ranger和atlas的安装配置操作,便于相关使用人员后参考
2022-10-17 10:29:50
2890
6
原创 Apache Impala学习
impala是cloudera提供的一款高效率的sql查询工具,提供实时的查询效果,官方测试性能比hive快10到100倍,其sql查询比sparkSQL还要更加快速,号称是当前大数据领域最快的查询sql工具
2022-10-13 10:23:59
419
kafka-eagle-web-1.2.9-bin.tar
2022-10-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人