半杯不倒-CSDN博客

原创 HBase搭建

这与Hbase的极易扩展性息息相关。备注：RegionServer的作用是管理region、承接业务的访问，这个后面会详细的介绍通过横向添加Datanode的机器，进行存储层扩容，提升Hbase的数据存储能力和提升后端存储的读写能力。HBase的原型是Google的BigTable论文，受到了该论文思想的启发，目前作为Hadoop的子项目来开发维护，用于支持结构化的数据存储。HBase的目标是存储并处理大型的数据，更具体来说是仅需使用普通的硬件配置，就能够处理由成千上万的行和列所组成的大型数据。

2024-04-02 10:28:44 1037 1

原创 Skywalking部署

下载源代码包，下面会使用 agent即为启动成功。注意：等待 elasticsearch 启动完成，再启动 OAP将apache-skywalking-apm-6.6.0.tar.gz解压到/opt目录进入opt目录cd /opt/默认8080端口可能被占用，可以改成其他的，如35567打包后放到了/opt/目录下，名字是spring-boot-demo-0.0.1-SNAPSHOT.jar因为机制为懒加载，所以当只有你调用该java接口时，页面上才有显示。所以第一次访问时，数据是没有的。

2024-03-28 17:15:41 840 1

大数据组件-Flume高可用集群搭建

Flume是一个分布式、可靠和高可用性的数据采集工具，用于将大量数据从各种源采集到Hadoop生态系统中进行处理。在大型互联网企业的数据处理任务中，Flume被广泛应用。 Flume逻辑上分三层架构：agent，collector，storage。agent用于采集数据，agent是Flume中产生数据流的地方，同时，agent会将产生的数据流传输到collector。collector的作用是将多个agent的数据汇总后，加载到storage中。storage是存储系统，可以是一个普通file，也可以是HDFS，HIVE，HBase等。

2024-03-28

Azkaban任务调度安装配置和使用

Azkaban是由Linkedin公司推出的一个开源的批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程。 Azkaban的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。它有如下特点：兼容任何版本的hadoop 易于使用的Web用户界面简单的工作流的上传方便设置任务之间的关系工作流和任务日志记录和审计调度工作流模块化和可插拔的插件机制认证/授权(权限的工作) 能够杀死并重新启动工作流有关失败和成功的电子邮件提醒

2024-03-28

Doris搭建使用教程

Apache Doris是一个现代化的MPP分析性数据库产品。仅需要亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris可以满足多种数据分析需求，例如固定历史报表，实时数据分析。doris的性能监控、性能调试。

2024-03-28

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人