涂作权的博客

ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库（DBMS），使用C++语言编写，主要用于在线分析处理查询（OLAP），能够使用SQL查询实时生成分析数据报告。结论: ClickHouse像很多OLAP数据库一样，单表查询速度由于关联查询，而且ClickHouse的两者差距更为明显。

hbase是基于Google发布bigTable论文产生一款软件, 是一款noSQL型数据, 不支持SQL. 不支持join的操作, 没有表关系, 不支持事务(多行事务),hbase是基于 HDFS的采用java 语言编写查询hbase数据一般有三种方案(主键(row key)查询, 主键的范围检索,查询全部数据)都是以字节类型存储，存储结构化和半结构化数据。hbase表的特点: 大 面向列的存储方案 稀疏性。

3.6.Pulsar对接Flink完成数据预处理3.6.1.预处理需求说明3.6.2.构建Maven项目,加入依赖3.6.3.添加相关POJO类3.6.4.编写Flink代码，对数据进行处理操作3.6.5.测试数据是否可以正常写回到Pulsar1-两个表需要进行Join合并, 抽取需求核心相关字段, 形成宽表数据2-对表进行拉宽操作: create_time字段 拉宽为 年、月、天、小时3.6.3.添加相关POJO类1- 在项目中创建: com.itheima.pojo2- 加入资料

大数据平台是传智教育在2016年初开始构建, 最初始主要是进行离线的数仓平台构建,力争将公司核心数据(访问咨询数据,意向用户,报名数据以及学员考勤数据等)进行整合,对这些过往数据以天为单位进行挖掘分析, 从而能够更加了解学员的相关的指标, 能够更好的为学员服务在2021年初, 大数据平台开始引入流式的处理, 主要采用Pulsar完成实时数据的传输, 基于Flink进行实时数据预处理以及转换操作, 最终基于CK完成实时指标统计, 构建实时数仓。

2.4. Apache Pulsar 可插拔协议2.4.1.2. Apache Pulsar KOP – 如何配置2.4.1.3.Apache Pulsar KOP – 如何使用2.4.2. AMQP协议(RabbitMQ) on Pulsar(AOP)2.4.2.2.Apache Pulsar AOP如何配置2.4.2.3.Apache Pulsar AOP如何使用。

2.3. Pulsar Adaptors适配器2.3.1.kafka适配器2.3.2.Spark适配器。

2.2.4.Pulsar跨机房复制2.2.5.Pulsar跨机房复制。

2.2.Pulsar架构原理（Broker与Bookkeeper）2.2.1.深入理解Pulsar分层存储2.2.2.深入理解Bookkeeper架构2.2.2.1.Bookkeeper相关名词概念2.2.2.2.Bookkeeper整体架构2.2.2.3.Bookkeeper整体架构。

2.2.3.Pulsar如何实现生产和消费流程2.2.3.1.Pulsar数据生产流程2.2.3.2.Pulsar数据读取流程2.2.3.2.1.Pulsar数据生产流程2.2.3.2.2.Pulsar数据读取流程2.2.3.2.3.Pulsar数据读写故障处理流程。

2.Apache Pulsar高级2.1.Pulsar高级组件基本使用(Connector,Functions,事务)2.1.1.Function(轻量级计算流程)概念与使用2.1.1.1.Pulsar Function轻量级计算框架2.1.2.Connector 连接器概念与使用2.1.2.1.Pulsar Connector 连接器2.1.2.2.Pulsar Connector连接器 —>Pulsar Flink Connector。

1.6.Apache Pulsar的JAVA API相关使用操作1.6.1.基于Pulsar实现Topic的构建操作_准备工作1.6.2.基于Pulsar实现Topic的构建操作1-使用JAVA如何管理租户2-使用Java如何管理namespace3-使用JAVA如何管理Topic1.6.3.基于Pulsar实现数据生产1.6.4.基于Pulsar实现数据消费首先，需要我们创建一个maven项目，并加入Pulsar相关的依赖1.6.2.基于Pulsar实现Topic的构建操作1-使用JAV

多租户是一种架构，目的是为了让多用户环境下使用同一套程序，且保证用户间数据隔离。简单讲：在一台服务器上运行单个应用实例，它为多个租户（客户）提供服务。Apache Pulsar 最初诞生于雅虎，当时就是为了解决雅虎内部各个部门之间数据的协调，所以多租户特性显得至关重用，Pulsar 从诞生之日起就考虑到多租户这一特性，并在后续的实现过程中，将其不断的完善。多租户这一特性，使得各个部门之间可以共享同一份数据，不用单独部署独立的系统来操作数据，很好的保证了各部门间数据一致性的问题，同时简化维护成本。

1.4.Apache Pulsar的可视化监控管理1.4.1.Apache Pulsar的可视化监控部署。

1.3.Apache Pulsar的Local与分布式集群构建1.3.1 Apache Pulsar的Local模式构建1.3.1.1.Apache Pulsar的Local模式基本使用1.3.2.Apache Pulsar的分布式集群模式1.3.2.1.安装zookeeper集群1.3.3.Apache Pulsar的分布式集群模式构建1.3.4.Apache Pulsar的分布式集群模式启动1.3.5.Apache Pulsar的分布式集群模式测试。

多个broker 负责处理和负载均衡 producer 发出的消息，并将这些消息分派给 consumer；Broker 与 Pulsar 配置存储交互来处理相应的任务，并将消息存储在 BookKeeper 实例中（又称 bookies）；Broker 依赖 ZooKeeper集群处理特定的任务，等等。多个 bookie 的 BookKeeper 集群负责消息的持久化存储。一个zookeeper集群，用来处理多个Pulsar集群之间的协调任务。

云原生的概念是2013年Matt Stine提出的,到目前为止, 云原生的概念发生了多次变更, 目前最新对云原生定义为: DevOps + 持续交付 + 微服务 + 容器而符合云原生架构的应用程序是：采用开源堆栈(K8S + Docker)进行容器化，基于微服务架构提供灵活性和可维护性，借助敏捷方法、DevOps支持持续迭代和运维自动化，利用云平台设施实现弹性伸缩、动态调度、优化资源利用率。DevOps: 指的就是开发和运维不再是分开的两个团队，而是你中有我，我中有你的一个团队。微服务。