![](https://img-blog.csdnimg.cn/20190927151124774.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Apache Pulsar
文章平均质量分 86
Apache Pulsar
涂作权的博客
To do what I want to do!
展开
-
15_基于Flink将pulsar数据写入到ClickHouse
ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。结论: ClickHouse像很多OLAP数据库一样,单表查询速度由于关联查询,而且ClickHouse的两者差距更为明显。原创 2023-08-08 21:18:19 · 1801 阅读 · 0 评论 -
14_基于Flink将pulsar数据写入到HBase
hbase是基于Google发布bigTable论文产生一款软件, 是一款noSQL型数据, 不支持SQL. 不支持join的操作, 没有表关系, 不支持事务(多行事务),hbase是基于 HDFS的采用java 语言编写查询hbase数据一般有三种方案(主键(row key)查询, 主键的范围检索,查询全部数据)都是以字节类型存储,存储结构化和半结构化数据。hbase表的特点: 大 面向列的存储方案 稀疏性。原创 2023-08-08 21:01:47 · 863 阅读 · 1 评论 -
13_Pulsar对接Flink完成数据预处理、预处理需求说明、构建Maven项目,加入依赖、添加相关POJO类、编写Flink代码,对数据进行处理操作、测试数据是否可以正常写回到Pulsar
3.6.Pulsar对接Flink完成数据预处理3.6.1.预处理需求说明3.6.2.构建Maven项目,加入依赖3.6.3.添加相关POJO类3.6.4.编写Flink代码,对数据进行处理操作3.6.5.测试数据是否可以正常写回到Pulsar1-两个表需要进行Join合并, 抽取需求核心相关字段, 形成宽表数据2-对表进行拉宽操作: create_time字段 拉宽为 年、月、天、小时3.6.3.添加相关POJO类1- 在项目中创建: com.itheima.pojo2- 加入资料原创 2023-08-08 18:32:44 · 294 阅读 · 0 评论 -
12_Apache Pulsar 实战篇、大数据平台架构、基于Canel采集数据到Pulsar、启动 Pulsar Connectors、启动 Canal开始进行采集数据
大数据平台是传智教育在2016年初开始构建, 最初始主要是进行离线的数仓平台构建,力争将公司核心数据(访问咨询数据,意向用户,报名数据以及学员考勤数据等)进行整合,对这些过往数据以天为单位进行挖掘分析, 从而能够更加了解学员的相关的指标, 能够更好的为学员服务在2021年初, 大数据平台开始引入流式的处理, 主要采用Pulsar完成实时数据的传输, 基于Flink进行实时数据预处理以及转换操作, 最终基于CK完成实时指标统计, 构建实时数仓。原创 2023-08-08 18:19:13 · 280 阅读 · 0 评论 -
12_Apache Pulsar 可插拔协议、kafka on Pulsar(KOP)、Pulsar KOP、AMQP协议(RabbitMQ) on Pulsar(AOP)、Pulsar AOP
2.4. Apache Pulsar 可插拔协议2.4.1.2. Apache Pulsar KOP – 如何配置2.4.1.3.Apache Pulsar KOP – 如何使用2.4.2. AMQP协议(RabbitMQ) on Pulsar(AOP)2.4.2.2.Apache Pulsar AOP如何配置2.4.2.3.Apache Pulsar AOP如何使用。原创 2023-08-08 17:34:12 · 249 阅读 · 0 评论 -
11_Pulsar Adaptors适配器、kafka适配器、Spark适配器
2.3. Pulsar Adaptors适配器2.3.1.kafka适配器2.3.2.Spark适配器。原创 2023-08-08 17:12:05 · 855 阅读 · 0 评论 -
10_Pulsar跨机房复制、Pulsar跨机房复制
2.2.4.Pulsar跨机房复制2.2.5.Pulsar跨机房复制。原创 2023-08-08 16:58:45 · 220 阅读 · 0 评论 -
08_Pulsar架构原理(Broker与Bookkeeper)、Pulsar分层存储、Bookkeeper架构、Bookkeeper相关名词概念、Bookkeeper整体架构
2.2.Pulsar架构原理(Broker与Bookkeeper)2.2.1.深入理解Pulsar分层存储2.2.2.深入理解Bookkeeper架构2.2.2.1.Bookkeeper相关名词概念2.2.2.2.Bookkeeper整体架构2.2.2.3.Bookkeeper整体架构。原创 2023-08-08 16:38:31 · 715 阅读 · 0 评论 -
09_Pulsar如何实现生产和消费流程、Pulsar数据生产流程、Pulsar数据读取流程、Pulsar数据生产流程、Pulsar数据读取流程、Pulsar数据读写故障处理流程
2.2.3.Pulsar如何实现生产和消费流程2.2.3.1.Pulsar数据生产流程2.2.3.2.Pulsar数据读取流程2.2.3.2.1.Pulsar数据生产流程2.2.3.2.2.Pulsar数据读取流程2.2.3.2.3.Pulsar数据读写故障处理流程。原创 2023-08-08 16:48:36 · 265 阅读 · 0 评论 -
07_Pulsar高级组件基本使用(Connector,Functions,事务)、Function(轻量级计算流程)概念与使用、Connector 连接器概念与使用,其它Connector
2.Apache Pulsar高级2.1.Pulsar高级组件基本使用(Connector,Functions,事务)2.1.1.Function(轻量级计算流程)概念与使用2.1.1.1.Pulsar Function轻量级计算框架2.1.2.Connector 连接器概念与使用2.1.2.1.Pulsar Connector 连接器2.1.2.2.Pulsar Connector连接器 —>Pulsar Flink Connector。原创 2023-03-05 22:49:22 · 842 阅读 · 0 评论 -
06.Apache Pulsar的JAVA API相关使用操作,基于Pulsar实现Topic的构建操作,使用JAVA如何管理租户/namespace/Topic,基于Pulsar实现数据生产/消费
1.6.Apache Pulsar的JAVA API相关使用操作1.6.1.基于Pulsar实现Topic的构建操作_准备工作1.6.2.基于Pulsar实现Topic的构建操作1-使用JAVA如何管理租户2-使用Java如何管理namespace3-使用JAVA如何管理Topic1.6.3.基于Pulsar实现数据生产1.6.4.基于Pulsar实现数据消费首先,需要我们创建一个maven项目,并加入Pulsar相关的依赖1.6.2.基于Pulsar实现Topic的构建操作1-使用JAV原创 2023-03-05 22:05:52 · 1309 阅读 · 1 评论 -
05_Pulsar的主要组件介绍与命令使用、名称空间、Pulsar的topic相关操作、Pulsar Topic(主题)相关操作_高级操作、
多租户是一种架构,目的是为了让多用户环境下使用同一套程序,且保证用户间数据隔离。简单讲:在一台服务器上运行单个应用实例,它为多个租户(客户)提供服务。Apache Pulsar 最初诞生于雅虎,当时就是为了解决雅虎内部各个部门之间数据的协调,所以多租户特性显得至关重用,Pulsar 从诞生之日起就考虑到多租户这一特性,并在后续的实现过程中,将其不断的完善。多租户这一特性,使得各个部门之间可以共享同一份数据,不用单独部署独立的系统来操作数据,很好的保证了各部门间数据一致性的问题,同时简化维护成本。原创 2023-03-05 19:20:36 · 1555 阅读 · 0 评论 -
04_Apache Pulsar的可视化监控管理、Apache Pulsar的可视化监控部署
1.4.Apache Pulsar的可视化监控管理1.4.1.Apache Pulsar的可视化监控部署。原创 2023-03-05 17:31:06 · 954 阅读 · 0 评论 -
03_Apache Pulsar的Local与分布式集群构建、Pulsar的分布式集群模式、Pulsar的分布式集群模式构建\启动\测试
1.3.Apache Pulsar的Local与分布式集群构建1.3.1 Apache Pulsar的Local模式构建1.3.1.1.Apache Pulsar的Local模式基本使用1.3.2.Apache Pulsar的分布式集群模式1.3.2.1.安装zookeeper集群1.3.3.Apache Pulsar的分布式集群模式构建1.3.4.Apache Pulsar的分布式集群模式启动1.3.5.Apache Pulsar的分布式集群模式测试。原创 2023-03-05 17:21:00 · 709 阅读 · 0 评论 -
02_Pulsar的集群架构、架构基本介绍、Pulsar提供的组件介绍、Brokers介绍、Zookeeper的元数据存储、基于bookKeeper持久化存储、Pulsar代理
多个broker 负责处理和负载均衡 producer 发出的消息,并将这些消息分派给 consumer;Broker 与 Pulsar 配置存储交互来处理相应的任务,并将消息存储在 BookKeeper 实例中(又称 bookies);Broker 依赖 ZooKeeper集群处理特定的任务,等等。多个 bookie 的 BookKeeper 集群负责消息的持久化存储。一个zookeeper集群,用来处理多个Pulsar集群之间的协调任务。原创 2023-03-05 16:50:00 · 434 阅读 · 0 评论 -
01.pulsar基本介绍、多租户模式、云原生架构、Segmented Streams、支持跨地域复制、pulsar组件介绍、Pulsar IO (Connector)、Pulsar与kafka的对比
云原生的概念是2013年Matt Stine提出的,到目前为止, 云原生的概念发生了多次变更, 目前最新对云原生定义为: DevOps + 持续交付 + 微服务 + 容器而符合云原生架构的应用程序是:采用开源堆栈(K8S + Docker)进行容器化,基于微服务架构提供灵活性和可维护性,借助敏捷方法、DevOps支持持续迭代和运维自动化,利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。DevOps: 指的就是开发和运维不再是分开的两个团队,而是你中有我,我中有你的一个团队。微服务。原创 2023-03-05 16:38:53 · 547 阅读 · 0 评论