- 博客(100)
- 资源 (10)
- 收藏
- 关注
RSS订阅原创 吊打面试官-Springcloud面试题
DDD时面对软件复杂之道。 领域驱动设计Domain-Driven-Design 以MVC的entity或domain为例，这种只包含数据不包含逻辑业务的类就叫做贫血模型（Anemic Domain Model）。 贫血模型将数据与操作分离，破坏了面向对象的封装特性，是一种典型的面向过程编程。 充血模型（Rich Domain Model）正好相反，数据和对应的业务逻辑被封装到同一个类中。因此，这充血模型满足面向对象的封装特性微服务调用链的下游影响上游。服务降级和服务熔断服务限流。
2023-03-14 09:32:16
1661
1
原创 2-Docker进阶
为了在节点数目发生改变时尽可能少的迁移数据将所有的存储节点排列在收尾相接的Hash环上，每个key在计算Hash后会顺时针找到临近的存储节点存放。而当有节点加入或退出时仅影响该节点在Hash环上顺时针相邻的后续节点。优点加入和删除节点只影响哈希环中顺时针方向的相邻的节点，对其他节点无影响。缺点数据的分布和节点的位置有关，因为这些节点不是均匀的分布在哈希环上的，所以数据在进行存储时达不到均匀分布的效果。③哈希槽分区。
2022-11-05 10:21:47
633
原创 1-Docker基础
1.1.1 问题：为什么会有docker出现假定您在开发一个商城系统，您使用的是一台笔记本电脑而且您的开发环境具有特定的配置。其他开发人员身处的环境配置也各有不同。您正在开发的应用依赖于您当前的配置且还要依赖于某些配置文件。此外，您的企业还拥有标准化的测试和生产环境，且具有自身的配置和一系列支持文件。您希望尽可能多在本地模拟这些环境而不产生重新创建服务器环境的开销。请问？您要如何确保应用能够在这些环境中运行和通过质量检测？并且在部署过程中不出现令人头疼的版本、配置问题，也无需重新编写代码和进行故障修复。
2022-11-05 10:20:12
603
原创 flink扩展-1、Flink-CDC
CDC 是 Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。CDC 主要分为基于查询和基于 Binlog 两种方式，我们主要了解一下这两种之间的区别： Flink 社区开发了 flink-cdc-connectors 组件，这是一个可以直接从 MySQL、PostgreSQL 等数据库直接读取全量数据和增量变更数据的 source 组件
2022-06-01 20:01:43
758
原创 专题3-MySQL 性能优化思路和工具
一、优化思路作为架构师或者开发人员，说到数据库性能优化，你的思路是什么样的？或者具体一点，如果在面试的时候遇到这个问题：你会从哪些维度来优化数据库，你会怎么回答？我们在第一节开始的时候讲了，目标是为了让大家建立数据库的知识体系，和正确的调优的思路。我们说到性能调优，大部分时候想要实现的目标是让我们的查询更快。一个查询的动作又是由很多个环节组成的，每个环节都会消耗时间，我们在第一节讲 SQL 语句的执行流程的时候已经分析过了。我们要减少查询所消耗的时间，就要从每一个环节入手。
2022-05-13 14:47:19
278
原创 专题2-MySQL 索引原理详解
一、 索引是什么？1.1 索引是什么当一张表有 500 万条数据，在没有索引的 name 字段上执行一个查询：select * from user_innodb where name ='jim';如果 name 字段上面有索引呢？ALTER TABLE user_innodb DROP INDEX idx_name; ALTER TABLE user_innodb ADD INDEX idx_name (name);索引的创建是需要消耗时间的。有索引的查询和没有索引的查询
2022-05-13 14:37:20
324
原创 专题1-Mysql架构与内部模块
前提说明：所有案例演示环境：MySQL 5.7存储引擎：InnoDB一、一条查询SQL是如何执行的？程序或者工具要操作数据库，第一步跟数据库建立连接。1、通信协议首先，MySQL 必须要运行一个服务，监听默认的端口（3306）。1.1 通信协议MySQL 支持多种通信协议。第一种就是 TCP/IP 协议，编程语言的连接模块都是用 TCP 协议连接到 MySQL 服务器的，比如 mysql-connector-java-x.x.xx.jar。..
2022-05-13 14:01:37
354
原创 flink实践-电商用户行为数据分析-第7章-附录-电商常见指标汇总
1、电商指标整理现在的电子商务：1、大多买家通过搜索找到所买物品，而非电商网站的内部导航，搜索关键字更为重要；2、电商商家通过推荐引擎来预测买家可能需要的商品。推荐引擎以历史上具有类似购买记录的买家数据以及用户自身的购买记录为基础，向用户提供推荐信息；3、电商商家时刻优化网站性能，如 A/B Test 划分来访流量，并区别对待来源不同的访客，进而找到最优的产品、内容和价格；4、购买流程早在买家访问网站前，即在社交网络、邮件以及在线社区中便已开始，...
2022-05-01 10:03:16
1624
原创 flink实践-电商用户行为数据分析-第6章-订单支付实时监控
在电商网站中，订单的支付作为直接与营销收入挂钩的一环，在业务流程中非常重要。对于订单而言，为了正确控制业务流程，也为了增加用户的支付意愿，网站一般会设置一个支付失效时间，超过一段时间不支付的订单就会被取消。另外，对于订单的支付，我们还应保证用户支付的正确性，这可以通过第三方支付平台的交易数据来做一个实时对账。在接下来的内容中，我们将实现这两个需求。1、模块创建和数据准备同样地，在 UserBehaviorAnalysis 下新建一个 maven module 作为子项目，命名为OrderTime
2022-05-01 10:00:04
891
原创 flink实践-电商用户行为数据分析-第5章-恶意登录监控
1、模块创建和数据准备继续在 UserBehaviorAnalysis 下新建一个 maven module 作为子项目，命名为LoginFailDetect。在这个子模块中，我们将会用到 flink 的 CEP 库来实现事件流的模式匹配，所以需要在 pom 文件中引入 CEP 的相关依赖：<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-cep_${sca
2022-05-01 09:58:56
478
原创 flink实践-电商用户行为数据分析-第4章-市场营销商业指标统计分析
1、模块创建和数据准备继续在 UserBehaviorAnalysis 下新建一个 maven module 作为子项目，命名为MarketAnalysis。这个模块中我们没有现成的数据，所以会用自定义的测试源来产生测试数据流，或者直接用生成测试数据文件。2、APP 市场推广统计随着智能手机的普及，在如今的电商网站中已经有越来越多的用户来自移动端，相比起传统浏览器的登录方式，手机 APP 成为了更多用户访问电商网站的首选。对于电商企业来说，一般会通过各种不同的渠道对自己的APP 进行
2022-05-01 09:58:01
537
1
原创 flink实践-电商用户行为数据分析-第3章、实时流量统计
1、模块创建和数据准备在 UserBehaviorAnalysis 下 新 建 一 个 maven module 作 为 子 项 目 ， 命 名 为 NetworkFlowAnalysis。在这个子模块中，我们同样并没有引入更多的依赖，所以也不需要改动 pom 文件。将 apache 服务器的日志文件 apache.log 复制到资源文件目录 src/main/resources 下，我们将从这里读取数据。当然，我们也可以仍然用 UserBehavior.csv 作为数据源，这时我们分析的就
2022-05-01 09:56:41
1272
原创 flink实践-电商用户行为数据分析-第2章、实时热门商品统计
首先要实现的是实时热门商品统计，我们将会基于 UserBehavior 数据集来进行分析。 项目主体用 Java 编写，采用 IDEA 作为开发环境进行项目编写，采用 maven 作为项目构建和管理工具。首先我们需要搭建项目框架。1、创建 Maven 项目1.1 项目框架搭建打开 IDEA，创建一个 maven 项目，命名为 UserBehaviorAnalysis。由于包含了多个模块，我们可以以UserBehaviorAnalysis 作为父项目，并在其下建一个名为HotItemsAn
2022-04-29 11:30:46
1246
原创 flink实践-电商用户行为数据分析-第1章、项目介绍
1、电商的用户行为电商平台中的用户行为频繁且较复杂，系统上线运行一段时间后，可以收集到大量的用户行为数据，进而利用大数据技术进行深入挖掘和分析，得到感兴趣的商业指标并增强对风险的控制。电商用户行为数据多样，整体可以分为用户行为习惯数据和业务行为数据两大类。用户的行为习惯数据包括了用户的登录方式、上线的时间点及时长、点击和浏览页面、页面停留时间以及页面跳转等等，我们可以从中进行流量统计和热门商品的统计，也可以深入挖掘用户的特征；这些数据往往可以从 web 服务器日志中直接读取到。而业务行为
2022-04-29 11:29:27
1496
原创 flink进阶篇-12-常见面试问题汇总
1．应用架构问题：公司怎么提交的实时任务，有多少 Job Manager、Task Manager？解答：1）我们使用 yarn session 模式提交任务，该方式特点：每次提交都会创 建一个新的 Flink 集群，为每一个 job 提供资源，任务之间互相独立，互不影响， 方便管理。任务执行完成之后创建的集群也会消失。线上命令脚本如下：bin/yarn-session.sh -n 7 -s 8 -jm 3072 -tm 32768 -qu root.. -nm - -d其中申请 7 个
2022-04-12 10:37:00
315
原创 flink进阶篇-09-状态编程和容错机制
流式计算分为无状态和有状态两种情况。1）无状态的计算观察每个独立事件，并根据最后一个事件输出结果。例如，流处理应用程序从传感器接收温度读数，并在温度超过 90 度时发出警告。2）有状态的计算则会基于多个事件输出结果。以下是一些例子。⚫ 所有类型的窗口。例如，计算过去一小时的平均温度，就是有状态的计算。⚫ 所有用于复杂事件处理的状态机。例如，若在一分钟内收到两个相差 20 度以上的温度读数，则发出警告，这是有状态的计算。⚫ 流与流之间的所有关联操作，以及流与静态表或动态表之..
2022-04-12 10:35:45
584
原创 flink进阶篇-08-ProcessFunction API（底层 API）
我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这在一些应用场景下，极为重要。例如 MapFunction 这样的 map 转换算子就无法访问时间戳或者当前事件的事件时间。 基于此，DataStream API 提供了一系列的 Low-Level 转换算子。可以访问时间戳、watermark 以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function 用来构建事件驱动的应用以及实现自定义的业务逻辑...
2022-04-12 10:27:03
176
原创 flink进阶篇-07-时间语义与 Wartermark
1、Flink 中的时间语义1.1 三种时间语义在 Flink 的流式处理中，会涉及到时间的不同概念，如下图所示：Event Time：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink 通过时间戳分配器访问事件时间戳。Ingestion Time：是数据进入 Flink 的时间。Processing Time：是每一个执行基于时间操作的算子的本地系统时间，与机器相关，默认的时间属性就是Processing .
2022-04-12 10:26:11
2110
原创 flink进阶篇-06-Flink 中的 Window
1、Window1.1 Window 概述streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而 window 是一种切割无限数据为有限块进行处理的手段。Window 是无限数据流处理的核心，Window 将一个无限的 stream 拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。1.2 Window 类型Window 可以分成两类：➢ CountWindow按照指定的数.
2022-04-12 10:24:32
370
原创 flink进阶篇-05-Flink流处理 API
1、Environment1.1 getExecutionEnvironment1）创建一个执行环境，表示当前执行程序的上下文。2）如果程序是独立调用的，则此方法返回本地执行环境；3）如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment 会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。//获得批处理执行环境ExecutionEnvironment env =...
2022-04-12 10:23:10
551
原创 flink进阶篇-04-Flink运行架构
1、Flink 运行时的组件Flink 运行时架构主要包括四个不同的组件，它们会在运行流处理应用程序时协同工作： 作业管理器（JobManager）、资源管理器（ResourceManager）、任务管理器（TaskManager）， 以及分发器（Dispatcher）。因为 Flink 是用 Java 和 Scala 实现的，所以所有组件都会运行在 Java 虚拟机上。每个组件的职责如下：⚫ 作业管理器（JobManager）控制一个应用程序执行的主进程，也就是说，每个应用程序都会
2022-04-12 10:20:39
1901
2
原创 flink进阶篇-03-Flink部署
1、Standalone 模式1.1 安装软件准备： （自行官网下载）flink-1.10.1-bin-scala_2.12.tgz三台linux机器linux ip hostname centos7 192.168.1.100 hadoop1 centos7 192.168.1.101 hadoop2 centos7 192.168.1.102 hadoop3 分别解压缩 flink-1.10.1-bin-scala_
2022-04-12 10:17:46
559
原创 flink进阶篇-02-Flink快速上手
1、搭建 maven 工程 FlinkTutorialpom 文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 ht
2022-04-12 10:15:10
163
原创 flink进阶篇-01-Flink 简介
1、初识 FlinkFlink 起源于 Stratosphere 项目，Stratosphere 是在 2010~2014 年由 3 所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014 年 4 月 Stratosphere 的代 码被 复制 并捐赠 给了 Apache 软件基 金会， 参加 这个 孵化项 目的 初始 成员 是Stratosphere 系统的核心开发人员，2014 年 12 月，Flink 一跃成为 Apache 软件基金会的顶级项目。在德语中，Flink
2022-04-12 10:13:54
432
原创 flink入门-08-Table API 和 Flink SQL
1、 Table API 和 Flink SQL 是什么• Flink 对批处理和流处理，提供了统一的上层 API• Table API 是一套内嵌在 Java 和 Scala 语言中的查询API，它允许以非常直 观的方式组合来自一些关系运算符的查询• Flink 的 SQL 支持基于实现了 SQL 标准的 Apache Calcite1.1 基本程序结构• Table API 和 SQL 的程序结构，与流式处理的程序结构十分类似StreamTableEnvironmen.
2022-04-05 10:03:53
940
原创 flink入门-09-Flink CEP简介
1、 什么是 CEP ？• 复杂事件处理（Complex Event Processing，CEP） • Flink CEP是在 Flink 中实现的复杂事件处理（CEP）库 • CEP 允许在无休止的事件流中检测事件模式，让我们有机会掌握数据中重要的部分 • 一个或多个由简单事件构成的事件流通过一定的规则匹配，然后输出用户想得到的数据 — 满足规则的复杂事件2、CEP 的特点• 目标：从有序的简单事件流中发现一些高阶特征 • 输入：一个或多个由简单事件构成的事.
2022-04-05 08:31:57
6983
原创 flink入门-07-Flink的状态一致性
1、 状态一致性1.1 什么是状态一致性• 有状态的流处理，内部每个算子任务都可以有自己的状态• 对于流处理器内部来说，所谓的状态一致性，其实就是我们所说的计算结果要保证准确。• 一条数据不应该丢失，也不应该重复计算• 在遇到故障时可以恢复状态，恢复以后的重新计算，结果应该也是完全正确的。1.2 状态一致性分类• AT-MOST-ONCE（最多一次）➢ 当任务故障时，最简单的做法是什么都不干，既不恢复丢失的状态，也不重播丢失的数据。At-most-once 语义.
2022-04-04 22:12:05
661
原创 flink入门-06-Flink的容错机制
flink入门-06-Flink的容错机制1、 一致性检查点（checkpoint）• Flink 故障恢复机制的核心，就是应用状态的一致性检查点• 有状态流应用的一致检查点，其实就是所有任务的状态，在某个时间点的一份拷贝（一份快照）；这个时间点，应该是所有任务都恰好处理完一个相同的输入数据的时候2、从检查点恢复状态• 在执行流应用程序期间，Flink 会定期保存状态的一致检查点• 如果发生故障， Flink 将会使用最近的检查点来一致恢复应用程序..
2022-04-04 17:01:50
217
原创 flink入门-05-状态管理
1、Flink 中的状态• 由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态• 可以认为状态就是一个本地变量，可以被任务的业务逻辑访问 • Flink 会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以 便开发人员可以专注于应用程序的逻辑• 在 Flink 中，状态始终与特定算子相关联 • 为了使运行时的 Flink 了解算子的状态，算子需要预先注册其状态, 总的说来，有两种类型的状态： • 算子状态（Operator State）•.
2022-04-04 16:04:23
196
原创 flink入门-04-时间语义和watermark
1、Flink 中的时间语义1.1 时间（Time）语义• Event Time：事件创建的时间 • Ingestion Time：数据进入Flink的时间 • Processing Time：执行操作算子的本地系统时间，与机器相关1.2 哪种时间语义更重要？示例：• 不同的时间语义有不同的应用场合• 我们往往更关心事件时间（Event Time）• 某些应用场合，不应该使用 Processing Time• Event Ti...
2022-04-04 14:59:41
293
原创 flink入门-03-Flink window API
1、window 概念1.1 窗口（window）• 一般真实的流都是无界的，怎样处理无界的数据？• 可以把无限的数据流进行切分，得到有限的数据集进行处理 —— 也就是得到有界流• 窗口（window）就是将无限流切割为有限流的一种方式，它会将流 数据分发到有限大小的桶（bucket）中进行分析2、window 类型2.1 时间窗口（Time Window）➢ 滚动时间窗口➢ 滑动时间窗口➢ 会话窗口2.1.1 滚动窗口（Tumbling W.
2022-04-04 14:32:59
149
原创 flink入门-02-Flink运行架构
1、Flink 运行时的组件1.1 Flink 运行时的组件 1.2 作业管理器（JobManager）• 控制一个应用程序执行的主进程，也就是说，每个应用程序都会被一个不同的 JobManager 所控制执行。• JobManager 会先接收到要执行的应用程序，这个应用程序会包括：➢ 作业图 （JobGraph）、➢ 逻辑数据流图（logical dataflow graph）➢ 打包了所有的类、 库和其它资源的JAR包。• JobManager 会把Job.
2022-04-04 12:56:18
166
原创 flink入门-01-Flink 流处理简介
1、Flink 是什么Flink 的全球热度Flink 目前在国内企业的应用2、为什么要用 Flink• 流数据更真实地反映了我们的生活方式• 传统的数据架构是基于有限数据集的• 我们的目标➢ 低延迟➢ 高吞吐➢ 结果的准确性和良好的容错性哪些行业需要处理流数据• 电商和市场营销➢ 数据报表、广告投放、业务流程需要• 物联网（IOT）➢ 传感器实时数据采集和显示、实时报警，交通运输业• 电信...
2022-04-04 11:00:45
1339
原创 flink优化专题-07-常见故障排除
1、非法配置异常如果您看到从 TaskExecutorProcessUtils 或 JobManagerProcessUtils 抛出的IllegalConfigurationException，通常表明存在无效的配置值（例如负内存大小、大于 1 的 分数等）或配置冲突。请重新配置内存参数。2 、Java 堆空间异常如果报 OutOfMemoryError: Java heap space 异常，通常表示 JVM Heap 太小。可以尝试通过增加总内存来增加 JVM 堆大小。也可
2022-04-03 17:32:37
2480
原创 flink优化专题-06-FlinkSQL 调优
1、设置空闲状态保留时间Flink SQL 新手有可能犯的错误，其中之一就是忘记设置空闲状态保留时间导致状态爆炸。列举两个场景：➢ FlinkSQL 的 regular join（inner、left、right），左右表的数据都会一直保存在状态里，不会清理！要么设置 TTL，要么使用 FlinkSQL 的 interval join。➢ 使用 Top-N 语法进行去重，重复数据的出现一般都位于特定区间内（例如一小时或一天内），过了这段时间之后，对应的状态就不再需要了。Flink
2022-04-03 17:31:47
1641
原创 flink优化专题-05-Job 优化
1、使用 DataGen 造数据开发完 Flink 作业，压测的方式很简单，先在 kafka 中积压数据，之后开启 Flink 任务， 出现反压，就是处理瓶颈。相当于水库先积水，一下子泄洪。 数据可以是自己造的模拟数据，也可以是生产中的部分数据。造测试数据的工具： DataFactory、datafaker 、DBMonster、Data-Processer 、Nexmark、Jmeter 等。 Flink 从 1.11 开始提供了一个内置的 DataGen 连接器，主要是用于生成一些随机数， 用于在没
2022-04-03 17:29:53
1407
原创 flink优化专题-04-数据倾斜
1、判断是否存在数据倾斜➢ 相同 Task 的多个 Subtask 中，个别 Subtask 接收到的数据量明显大于其他Subtask 接收到的数据量，通过 Flink Web UI 可以精确地看到每个 Subtask 处理了多少数据，即可判断出 Flink 任务是否存在数据倾斜。通常，数据倾斜也会引起反压。➢ Checkpoint detail 里不同 SubTask 的 State size 也是一个分析数据倾斜的有用指标。2、数据倾斜的解决2.1 keyBy 后的聚合操作存在.
2022-04-03 14:05:52
1170
原创 flink优化专题-03-反压处理
1、概述Flink 网络流控及反压的介绍：Flink 中文社区 | 中文学习教程1.1 反压的理解➢ 简单来说，Flink 拓扑中每个节点（Task）间的数据都以阻塞队列的方式传输，下游来不及消费导致队列被占满后，上游的生产也会被阻塞，最终导致数据源的摄入被阻塞。➢ 反压（BackPressure）通常产生于这样的场景：短时间的负载高峰导致系统接收数据 的速率远高于它处理数据的速率。➢ 许多日常问题都会导致反压。垃圾回收停顿可能会导致流入的数据快速堆积电商大促、秒
2022-04-03 13:36:27
3665
原创 flink优化专题-02-状态及 Checkpoint 调优
1、RocksDB 大状态调优 RocksDB 是基于 LSM Tree 实现的（类似 HBase），写数据都是先缓存到内存中，所以 RocksDB 的写请求效率比较高。RocksDB 使用内存结合磁盘的方式来存储数据，每次获取数据时，先从内存中 blockcache 中查找，如果内存中没有再去磁盘中查询。使用RocksDB 时，状态大小仅受可用磁盘空间量的限制，性能瓶颈主要在于 RocksDB 对磁盘的读请求，每次读写操作都必须对数据进行反序列化或者序列化。当处理性能不够时，仅需要横向扩展并行
2022-04-03 13:02:37
1747
原创 flink优化专题-01-资源配置调优
1、概述Flink 性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。提交方式主要是 yarn-per-job，资源的分配在使用脚本提交 Flink 任务时进行指定。➢ 标准的 Flink 任务提交脚本（Generic CLI 模式）从 1.11 开始，增加了通用客户端模式，参数使用-D <property=value>指定bin/flink run \
2022-04-03 11:37:58
1994
1
金融风控数据平台-基于springboot+springcloud设计实现
2019-12-26
springmvc+mybatis+shiro
2016-01-27
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人