qq_35240226的博客

企业都希望做到数据驱动，使用数据的一个重要卡点就是数据获取和数据应用成本太高，尽管有海量的数据，如果大家不会用，其实也没有效果 ，数据工具的价值就在于，将数据生产，处理，分析，可视化等步骤变得简单便捷，让数据驱动成为可实现的目标。2.标签的计算（随着标签体系变得日益庞大，标签计算只会越来越复杂，数据团队在用户标签系统的建设过程中，要不断优化数据模型和计算模型，提高标签计算效率）4.全局的数据访问行为的审计（对每个api访问次数，明确资源使用的情况，以及该api的数据血缘）3.可弹性扩展的架构以支持高并发。

隔离级别

同一个TaskManager上的所有slot都只是做了内存分离，没有做CPU隔离。

在oracle分页查询中，我们采用类似以下所示的公认的比较高效的数据库分页查询语句（Effective Oracle by Design中有描述、众多oracle使用者也做过测试）。写道 SELECT * FROM ( SELECT A.*, ROWNUM RN FROM (SELECT * FROM TABLE_NAME) A WHERE ROWNUM <= n) WHERE RN > m 这里的ROWNUM是一个伪列，它是oracle为查询结果所编的一个号，第一行的ROWNUM...

一、什么是SPISPI ，全称为 Service Provider Interface，是一种服务发现机制。它通过在ClassPath路径下的META-INF/services文件夹查找文件，自动加载文件里所定义的类。这一机制为很多框架扩展提供了可能，比如在Dubbo、JDBC中都使用到了SPI机制。我们先通过一个很简单的例子来看下它是怎么用的。1、小栗子首先，我们需要定义一个接口，SPIServicepackage com.viewscenes.netsupervisor.sp.

京东到家订单中心系统业务中，无论是外部商家的订单生产，或是内部上下游系统的依赖，订单查询的调用量都非常大，造成了订单数据读多写少的情况。我们把订单数据存储在MySQL中，但显然只通过DB来支撑大量的查询是不可取的。同时对于一些复杂的查询，MySQL支持得不够友好，所以订单中心系统使用了Elasticsearch来承载订单查询的主要压力。Elasticsearch作为一款功能强大的分布式搜索引擎，支持近实时的存储、搜索数据，在京东到家订单系统中发挥着巨大作用，目前订单中心ES集群...

Kafka 是一个高度可扩展的分布式消息系统，在海量数据处理生态中占据着重要的地位。数据处理的一个关键特性是数据的一致性。具体到 Kafka 的领域中，也就是生产者生产的数据和消费者消费的数据之间一对一的一致性。在各种类型的失败普遍存在的分布式系统环境下，保证业务层面一个整体的消息集合被原子的发布和恰好一次处理，是数据一致性在 Kafka 生态系统的实际要求。本文介绍了 Kafka 生态中的事务机制的概念和流程。Kafka 事务机制的概念Kafka 从 0.11 版本开始支持了事务机制。Ka

如果把指标⽐喻成⼀棵树上的果实，那模型就是这棵⼤树的躯⼲，想让果实结得好，必须让树⼲变得粗壮。真实场景举例：⼤多数公司的分析师会结合业务做⼀些数据分析（需要⽤到⼤量的数据），通过报表的⽅式服务于业务部⻔的运营。但是在数据中台构建之前，分析师经常发现⾃⼰没有可以复⽤的数据，不得不使⽤原始数据进⾏清洗、加⼯、计算指标。由于他们⼤多是⾮技术专业出⾝，写的SQL质量⽐较差，甚⾄⻅过5层以上的嵌套。这种SQL对资源消耗⾮常⼤，会造成队列阻塞，影响其他数仓任务，会引起数据开发的不满。数据开发会要求收回分析师的原

全链路监控的四部分：链路采集、指标采集、日志采集、深度分析 链路采集包括调用链和服务拓扑，是全链路分析的串联器。 指标采集整合到服务链路上，使全链路具备基础监控能力。 日志采集的数据源，也是全链路分析的数据源。 深度分析包括离线、在线模块，满足全链路的问题定位需求。 在微服务架构中，不同维度有不同的监控方式。（1）健康检查。健康检查是对应用本身健康状况的监控，检查服务是否还正常存活。（2）日志。日志是排查问题的主要方式，日志可以提供丰...

数据仓库平台逐步从BI报表为主到分析为主、到预测为主、再到操作智能为目标。从过去报表发生了什么--->分析为什么过去会发生---->将来会发生什么---->什么正在发生----->让正确的事情发生数据仓库(Data Warehouse)是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化的（Time Variant）数据集合，用于支持管理决策和信息的全局共享。所谓主题：是指用户使用数据仓库进

本文包括七个小节：1、什么是数据湖；2、数据湖的基本特征；3、数据湖基本架构；4、各厂商的数据湖解决方案；5、典型的数据湖应用场景；6、数据湖建设的基本过程；7、总结。受限于个人水平，谬误在所难免，欢迎同学们一起探讨，批评指正，不吝赐教。一、什么是数据湖数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。但是在计划构建数据湖之前，搞清楚什么是数据湖，明确一个数据湖项目的基本组成，进而设计数据湖的基本架构，对于数据湖的构建至关重要。关于什么是数据湖？有不同的定义。Wikiped

前言服务注册中心本质上是为了解耦服务提供者和服务消费者。对于任何一个微服务，原则上都应存在或者支持多个提供者，这是由微服务的分布式属性决定的。更进一步，为了支持弹性扩缩容特性，一个微服务的提供者的数量和分布往往是动态变化的，也是无法预先确定的。因此，原本在单体应用阶段常用的静态LB机制就不再适用了，需要引入额外的组件来管理微服务提供者的注册与发现，而这个组件就是服务注册中心。CAP理论CAP理论是分布式架构中重要理论一致性(Consistency) (所有节点在同一时间具有相同的数据)

pulsar和kafka最显而易见的区别是，pulsar支持多租户，有着资产和命名空间的概念，资产代表系统里的租户。假设有一个Pulsar集群用于支持多个应用程序（就像Yahoo那样），集群里的每个资产可以代表一个组织的团队、一个核心的功能或一个产品线。一个资产可以包含多个命名空间，一个命名空间可以包含任意个主题。分区：pulsar和kafka一样都支持主题的多分区。持久化：kafka文件存储，pulsar采用Apache BookKeeper存储。这也是pulsar的一个显著优点，k.

1. 非规范化数据比如mysql描述订单以及订单详情 :order（id， order_no， amount） ->order_detail（id, order_id, commodity, price） , 在关系型数据库中一个订单对应多个订单详情，详情表通过order_id与订单表关联。那么在es中可以通过冗余数据描述这种关系， 索引如下：PUT order {"mappings": {"order": {...

​ 分区中的所有副本统称为AR（Assigned Repllicas）。所有与leader副本保持一定程度同步的副本（包括Leader）组成ISR（In-Sync Replicas），ISR集合是AR集合中的一个子集。消息会先发送到leader副本，然后follower副本才能从leader副本中拉取消息进行同步，同步期间内follower副本相对于leader副本而言会有一定程度的滞后。前面所说的“一定程度”是指可以忍受的滞后范围，这个范围可以通过参数进行配置。与leader副本同步滞后过多的副本（不包括

kafka相关面试题：https://blog.csdn.net/qq_28900249/article/details/90346599Kafka中存在大量的延迟操作，比如延迟生产、延迟拉取以及延迟删除等。Kafka并没有使用JDK自带的Timer或者DelayQueue来实现延迟的功能，而是基于时间轮自定义了一个用于实现延迟功能的定时器（SystemTimer）。JDK的Timer和DelayQueue插入和删除操作的平均时间复杂度为O(nlog(n))，并不能满足Kafka的高性能要求，而基于时间

kudu 的基本架构与存储结构1. 基本架构TMaster and TServerTMaster 主要用来管理元数据，即tablet 和 表的基本信息，监听TServer的状态，TMaster之间通过raft协议进行数据同步TServer 主要用来管理tablet 。tablet 负责这一张表的某块内容的读写，接受其他tablet leader 传来的同步信息，至于什么是tablet，看下面。2. 存储结构kudu的整个存储架构可以看成这样：一张table 会分成若干个tabl

term 和 match 总结在实际的项目查询中，term和match 是最常用的两个查询，而经常搞不清两者有什么区别，趁机总结有空总结下。term用法先看看term的定义，term是代表完全匹配，也就是精确查询，搜索前不会再对搜索词进行分词拆解。这里通过例子来说明，先存放一些数据：{ "title": "love China", "content":...

保存点与检查点1.保存点由提交任务时指定，恢复时手动指定保存点路径来恢复存储的状态值2.检查点在程序中指定，设置时间间隔，自动保存存储状态值...