- 博客(50)
- 资源 (23)
- 收藏
- 关注
RSS订阅原创 郑重申明《数据资产管理核心技术与应用》一书在拼多多上被盗版售卖，恳请大家支持正版和作者的著作权权益
数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著，近期我本人在拼多多上很多不同的店铺中都买到了这本书的盗版版本，购书的原因是想从市场上购买一批本书送给忠实的读者和身边的朋友，但是发现买到的总是盗版的版本，本书目前在京东、淘宝、当当等电商平台上出现了大卖，所以很多不法商家和店铺见到有利可图，纷纷在进行盗版仿制印刷以及售卖，本人已经通过12345热线向市场监管局进行了举报，并且要求拼多多平台下架所有的本书的盗版书籍，如下图所示，图书正面没有任何的防伪标志。
2024-09-19 18:37:55
274
原创 《数据资产管理核心技术与应用》首次大型赠书活动圆满结束
数据资产管理核心技术与应用》为读者提供一套可以落地的数据资产管理框架，并详解两个基于该框架进行数据资产管理的应用案例，使读者能更好地了解数据资产管理底层所涉及的众多核心技术，让数据可以发挥出更大的价值。《数据资产管理核心技术与应用》适合数据资产管理者、数据资产管理初学者、数据应用开发工程师、数据分析师、数据库管理员、架构师、产品经理、技术经理作为技术参考书，也适合高等院校或高职高专数据资产管理相关课程的教学参考书。第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。
2024-09-14 09:47:37
284
原创 人工智能-智能创意平台架构成长之路(一)--长篇开篇
此时页面会轮询的按照requestId+图片序号来获取banner图(每一个请求都会有一个请求的requestId，由于一次是5张图，所以图片是有序号的，可以轮询的获取)，轮询获取时，就接口的API服务就可以直接去查询redis了，因为这样查询速度很快，用户体验会更好，图片就会类似实时查询一样，频繁的查询也不影响性能。1） 、算法更偏底层，不太适合在应用层的服务中管理，在架构设计时，本来也会给算法设计一层算法工程化服务层，结构大致会这样，算法服务只专注于算法的处理，不会涉及任何的处理逻辑。
2024-09-09 17:06:51
986
原创 《数据资产管理核心技术与应用》读书笔记-第四章：数据质量的技术实现（三）
如下图所示，是Qualitis官方地址https://github.com/WeBankFinTech/Qualitis/blob/master/docs/zh_CN/ch1/%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1%E6%96%87%E6%A1%A3.md#21-%E6%80%BB%E4%BD%93%E6%9E%B6%E6%9E%84%E8%AE%BE%E8%AE%A1中提供的架构图。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著。
2024-09-09 16:52:02
1112
原创 紫金大数据平台架构之路（一）----大数据任务开发和调度平台架构设计
ZooKeeper Master容错完成之后则重新由EasyScheduler中Scheduler线程调度，遍历 DAG 找到”正在运行”和“提交成功”的任务，对”正在运行”的任务监控其任务实例的状态，对”提交成功”的任务需要判断Task Queue中是否已经存在，如果存在则同样监控任务实例的状态，如果不存在则重新提交任务实例。API接口层，主要负责处理前端UI层的请求。任务优先级_任务id信息保存在ZooKeeper任务队列中，当从任务队列获取的时候，通过字符串比较即可得出最需要优先执行的任务。
2024-08-29 16:30:03
1020
原创 在java中如何使用etcd的v2 和v3 api获取配置，并且对配置的变化进行监控和监听
etcd 和zookeeper 很像，都可以用来做配置管理。并且etcd可以在目前流行的Kubernetes中使用。但是etcd 提供了v2版本合v3的版本的两种api。我们现在分别来介绍一下这两个版本api的使用。1、java工程中使用maven引入 etcd v2的java api操作jar包。另外v3 版本api 的管理界面，可以参考如下开源项目。3、如何获取etcd的配置并且对配置进行监听。4、使用dcmp管理 etcd的配置项。2、v3 api操作工具类。
2024-08-29 14:40:53
596
原创 《数据资产管理核心技术与应用》读书笔记-第四章：数据质量的技术实现（二）
数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。质量数据其实和常用的监控数据很类似，也可以考虑用时序数据库来进行存储，因为质量数据都是按照时间来时序采集的，并且数据也是时序变化的，所以使用时序数据库来存储是非常适合的。质量数据采集到的是原始的数据，由于数据质量规则众多，所以每一种规则采集到的原始数据可能都不一样，所以还需要对原始的数据做归一化处理，然后才能进行入库存储，如下图所示。
2024-08-27 14:51:13
1175
原创 《数据资产管理核心技术与应用》读书笔记-第五章：数据服务(二)
在完成了数据服务的配置后，数据服务在调用时，还需要进行监控，在监控到发生故障时还需要支持自动发送告警通知信息，这样才能更好的保障数据服务的稳定性。在书中的数据监控与告警那一章节中，有提到数据服务的监控与告警的技术设计实现主要是通过异步采集数据服务的调用日志，然后再配合Prometheus与Grafana来完成，如下图所示。《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，作者为张永清等著
2024-08-26 11:59:13
781
原创 《数据资产管理核心技术与应用》读书笔记-第五章：数据服务(一)
《数据资产管理核心技术与应用》是清华大学出版社出版的一本图书，全书共分10章，第1章主要让读者认识数据资产，了解数据资产相关的基础概念，以及数据资产的发展情况。第2～8章主要介绍大数据时代数据资产管理所涉及的核心技术，内容包括元数据的采集与存储、数据血缘、数据质量、数据监控与告警、数据服务、数据权限与安全、数据资产管理架构等。第9～10章主要从实战的角度介绍数据资产管理技术的应用实践，包括如何对元数据进行管理以发挥出数据资产的更大潜力，以及如何对数据进行建模以挖掘出数据中更大的价值。
2024-08-23 15:12:24
627
原创 《软件性能测试分析与调优实践之路》(第2版) 读书笔记（二）总体介绍（下）-真正从性能分析与调优来看性能测试
通常，检查后会发现应用服务器的CPU、内存等资源都没有达到使用的上限，但是系统却出现了处理的瓶颈，那么说明系统一定是有地方“堵住了”。查询数据时可以按照如下图所示的方式来进行查询，下图中的路由表非常的关键，用于能快速的定位到需要查询的数据是在哪个分库和分表中。当系统出现TPS下降而平均响应时间缓慢上升，可能是系统已经出现了性能的拐点，达到了最大的处理能力了。此时需要做一下如下检查。分库分表时，插入数据时，可以按照如下图所示的方式来进行分库分表的写入数据。
2024-08-19 10:54:02
771
原创 《数据资产管理核心技术与应用》读书笔记-第四章：数据质量的技术实现（一）
在数据资产管理中，除了元数据和数据血缘外，数据质量也是很重要的一个环节，如下图所示，数据质量通常是指在数据处理的整个生命周期中，能否始终保持数据的完整性、一致性、准确性、可靠性、及时性等，我们只有知道了数据的质量，才能在数据质量差的时候，能去改进数据。《数据资产管理核心技术与应用》读书笔记-第四章：数据质量的技术实现。不管是在数据仓库还是数据湖中，一开始我们都是不知道数据的质量情况的，需要通过一定的规则定期的到数据湖或者数据仓库中去采集数据的质量，这个规则是允许用户自己去进行配置的，通常的流程如下图所示。
2024-08-15 09:43:55
869
原创 《软件性能测试分析与调优实践之路》(第2版) 读书笔记（一）总体介绍（上）-真正从性能分析与调优来看性能测试
1）、了解系统的各项性能指标，通过性能压测来了解系统能承受多大的并发访问量、系统的平均响应时间是多少、系统的TPS是多少等。《软件性能测试分析与调优实践之路》(第2版) 是清华大学出版社出版的一本图书，作者为张永清，全书共分为9章，如下图所示。下图展示了《软件性能测试分析与调优实践之路》(第2版) 一书中如何从上到下或者从下到上来分层分析性能问题。3）解决性能压测中存在的问题和性能瓶颈，通过不断的性能调优，使得系统可以满足预期的性能指标。下图展示了如何通过推理论证的方式来分析性能问题。
2024-08-13 09:00:36
891
原创 《数据资产管理核心技术与应用》读书笔记-第三章：数据血缘
Hive 自身的血缘在其源码中主要通过org.apache.hadoop.hive.ql.hooks.LineageLogger.java 来输出，org.apache.hadoop.hive.ql.hooks.LineageLogger.java代码中主要处理的过程如下图所示，血缘主要通过edges（DAG图的流向）和vertices（DAG图的节点）来进行输出。在使用某张表的数据时，也能追溯到该表的原始数据表以及经过了哪些中间表的处理，数据的链路变得非常清晰，对数据的使用者来说，产生了极大的帮助。
2024-08-12 15:58:35
932
原创 《数据资产管理核心技术与应用》读书笔记-第二章：元数据的采集与存储
所以Iceberg在底层通过架构设计时增加了元数据层这一设计来规避Hive数据仓库的不足，如下图所示，从图中可以看到Iceberg使用了两层设计来持久化数据，一层是元数据层，一层是数据层，在数据层中存储是Apache Parquet、Avro或ORC等格式的实际数据，在元数据层中可以有效地跟踪数据操作时删除了哪些文件和文件夹，然后扫描数据文件统计数据时，就可以确定特定查询时是否需要读取该文件以便提高查询的速度。提到Delta Lake 就不得提数据湖这个概念了，Delta Lake 是数据湖的一种。
2024-08-06 17:03:24
1083
原创 《数据资产管理核心技术与应用》读书笔记-第一章：认识数据资产
元数据管理：在前面已经提到，元数据是描述其他数据的数据，是数据资产管理的核心，如果没有元数据管理，用户在使用数据时，就不知道数据是什么、包含了什么信息，自己需要的数据在哪里等，只有做好了元数据的管理，才能让数据更容易被检索，才能让数据的使用者快速的找到自己需要的数据。主数据的管理可以进一步提高数据的价值，提升数据对业务的响应速度。加强数据治理：通常来说，数据治理是做好数据资产管理的核心，通过不断的建立和完善数据治理的流程和规范，明确数据管理的职责和分工，对数据做好分类和标记，让数据更方便的被查找。
2024-08-05 13:22:02
1297
原创 spark 下java list 或者scala list 转DataFrame or DataSet 总结
更多请参考：https://stackoverflow.com/questions/39397652/convert-scala-list-to-dataframe-or-dataset。
2024-08-02 17:06:45
420
原创 spark-sql 与hive 常用函数
如trunc('2019-03-06','MM')='2019-03-01'，trunc('2019-03-06','YYYY')='2019-01-01'lpad()：左填充。date_add(date1,int1):返回日期date1加上int1的日期,如date_add('2019-03-06',1)='2019-03-07'date_sub(date1,int1):返回日期date1减去int1的日期,如date_sub('2019-03-06',1)='2019-03-05'
2024-08-02 17:02:02
498
原创 图书《数据资产管理核心技术与应用》介绍
通常来说，数据血缘的来源可以包括数据源自身、数据处理的任务、数据任务的编排系统等。全书依托于大数据技术，独家解密数据血缘的底层技术实现。
2024-08-02 13:51:27
370
原创 图书《数据资产管理核心技术与应用》核心章节节选-3.1.2. 从Spark 执行计划中获取数据血缘
因为数据处理任务会涉及到数据的转换和处理，所以从数据任务中解析血缘也是获取数据血缘的渠道之一，Spark 是大数据中数据处理最常用的一个技术组件，既可以做实时任务的处理，也可以做离线任务的处理。如下图3-1-10所示，在Spark的官方文档链接https://spark.apache.org/docs/latest/sql-ref-syntax-qry-explain.html#content中，有明确提到，可以根据EXPLAIN关键字来获取执行计划，这和很多数据库查看执行计划的方式很类似。
2024-08-02 13:40:49
712
原创 图书《数据资产管理核心技术与应用》分享
4、全书从元数据、数据血缘、数据质量、数据服务、数据监控、数据建模、数据架构等多个维度来剖析大数据资产管理的核心技术与应用。3、应用元数据管理和数据建模技术，充分发挥出数据资产的更大潜力和价值。1、依托于大数据技术，独家解密数据血缘的底层技术实现。5、全书配套了PPT课件以及作者微信答疑服务。2、详解数据资产管理的知识体系和核心技术。
2024-08-02 13:18:59
251
原创 《软件性能测试分析与调优实践之路》第二版-手稿节选-Mysql数据库性能定位与分析
每条SQL语句在执行时都需要消耗一定的I/O资源，SQL语句执行的快慢直接决定了硬件资源被占用时长的长短，慢SQL一般指查询很慢的SQL语句。在默认情况下，一般慢SQL是关闭的，可以通过执行show variables like 'slow_query%' 来查看数据库是否开启了慢查询，如图6-2-2所示。从图中可以看到，当查询出数据以后，会将数据先返回给执行器，此时执行器先将结果写到查询缓存里面，这样在下次查询相同的数据时，就可以直接从缓存中查询并且返回，同时将结果返回给客户端。表示查询特性的使用情况。
2024-06-16 15:50:13
820
1
转载 Spring Cloud 部署时如何使用 Kubernetes 作为注册中心和配置中心
您可以在前面描述的机制的基础上使用它，也可以使用它来代替前面介绍的机制。默认行为是基于Kubernetes ConfigMap创建ConfigMapPropertySource，该ConfigMap的metadata.name值为Spring应用程序的名称（由其Spring.application.name属性定义）或bootstrap.properties文件中定义的自定义名称，位于以下键下：Spring.cloud.Kubernetes.config.name。此外，我们建议容器通过装入的卷共享机密。
2024-05-10 16:18:22
148
1
转载 Springboot+Mybatis+Mybatisplus 框架中增加自定义分页插件和sql 占位符修改插件
需要实现MyBatis-Plus 提供的com.baomidou.mybatisplus.extension.plugins.inner.InnerInterceptor提供的接口，在mybatis-plus中,提供了innerinterceptor拦截器,可以方便地实现拼接查询条件。MyBatis-Plus(简称 MP)是一个 MyBatis 的增强工具,在 MyBatis 的基础上只做增强不做改变,为简化开发、提高效率而出现的框架，它对 Mybatis 的基础功能进行了增强，但未做任何改变。
2024-05-10 08:57:07
177
转载 springcloud/springboot集成NACOS 做注册和配置中心以及nacos源码分析
Spring Cloud 是一系列框架的有序集合如服务发现注册、配置中心、消息总线、负载均衡、熔断器、数据监控等。SpringCloud 将多个服务框架组合起来，通过Spring Boot进行再封装，屏蔽掉了复杂的配置和实现原理，最终给开发者提供了一套简单易懂、易部署和易维护的分布式系统开发工具包。Spring Cloud是一个基于SpringBoot实现的微服务开发方案，Spring boot 是 Spring 的一套快速配置框架。可以基于spring boot 快速开发单个微服务。
2024-05-10 08:54:03
585
转载 《软件性能测试、分析与调优实践之路》(第2版)--第7章节选--常见性能问题分析总结
这就如同自来水的供水系统一样，如果某个用户突然反馈说，我家自来水水压很小，水压一直都上不去，那么自来水公司的维修人员上门之后，肯定是从这个用户家作为起点，然后对供水链路中的每个环节进行排查，直到找到是哪个环节出现了拥堵。尤其在大型的分布式系统中，单台压测机往往是不够用的，因为单台压测机不论是网络连接，还是带宽以及自身CPU、内存等都会存在很大限制，性能压测不止是服务器资源会有很大消耗，提供压测能力的压测机也会很大的资源消耗。通常情况下，性能出现拐点时，服务器中某项资源也达到了使用的上限。
2024-05-02 12:30:00
218
原创 【学习性能分析--第二版】如何做好性能测试分析诊断调优-暨《软件性能测试、分析与调优实践之路》(第2版)推荐
张永清的这本书，融合了研发和测试，融合了后端和前端，融合了应用和数据库，融合了性能定位的方法论和实践，全面介绍了如何进行性能分析定位调优，如何让软件系统拥有更快的性能体验，这些是他在很多年测试、研发、架构岗位上经验积累的输出。正是在这样的背景和需求下，同时也在本书前一版《软件性能测试、分析与调优实践之路》大量读者的反馈和建议下，迎来了这本书的第2版。本书最大的特点就是非常全面地剖析了性能调优的技术和方法，并且结合了大量真实的性能压测案例，让读者能把学习到的理论知识运用到实际的案例中去做实践分析。
2024-03-03 17:57:42
1215
转载 jmeter系列-如何实现像loadrunner一样，多个并发用户先通过登录初始化，然后做并发的接口性能压测
自从转开发后，就很少关注性能测试方面的东西，最近在帮朋友做一个性能压测，由于朋友那边的公司比较小，环境比较简单，而且是对http服务进行的压测，所以最终选用了jmeter来实现这个压测。如下就是我们的场景，多个并发用户，每个用户需要先登录，而且只需要登录一次，每个并发登录成功后，会产生一个accessToken，也是就是代表了登录服务器端登录鉴权通过后，
2022-11-08 14:55:15
633
转载 软件性能测试分析与调优实践之路---性能测试系列-java gc调优
的回收对响应时间有非常大的影响，早期的GC回收，基本都会造成很长时间的Stop-The-World 的暂停，新GC算法很多都是围绕降低Stop-The-World 的暂停时间，使得平均响应时间尽量变短，TPS提升的更高。随着jdk版本的迅速变化，jdk里面的GC算法也是发生了很多变化，新版的jdk中，G1的已经成了jdk的默认算法了，性能测试中，我们经常关注的比较多的就是tps，吞吐率，内存占用，CPU占用，响应时间，其中GC。掌握尽量全面、详细、准确的信息，是各种调优的基础，不仅仅是 GC 调优。
2022-11-08 14:51:52
686
转载 软件性能测试分析与调优实践之路---性能测试和性能分析的基础概念
性能可以理解为一个系统实现其功能的能力，从宏观上可以描述为系统能够稳定运行，高并发访问时系统不会出现宕机，系统处理完成用户请求需要的时间，系统能够同时支撑的并发访问量，系统每秒可以处理完成的事物数等，从微观上可以描述为处理每个事务的资源开销，资源的开销可以包括CPU，磁盘IO，内存，网络传输带宽等，甚至可以体现为服务器链接数，线程数，JVM Heap等的使用情况，也可以表现为内存的分配回收是否及时，缓存规则的命中率等。单就性能指标而言，系统的并发用户数是指系统可以同时承载的正常使用系统功能的用户的总数量。
2022-11-08 14:47:13
1055
转载 如何扩展Spark Catalyst,抓取spark sql 语句，通过listenerBus发送sql event以及编写自定义的Spark SQL引擎
我们可以实现特定的SQL方言，针对特殊的数据源做更深入的优化，进行SQL规范检查，针对特定执行环境制定特定的优化策略等等。Spark Catalyst的SQL处理分成parser，analyzer，optimizer以及planner等多个步骤，其中analyzer，optimizer等步骤内部也分为多个阶段，以Analyzer为例，analyse规则切分到不同的batch中，每个batch的执行策略可能不尽相同，有的只会执行一遍，有的会迭代执行直到满足一定条件。并且引入如下maven plugin。
2022-11-08 14:42:31
864
转载 使用grafana+Prometheus监控时PromQL内置函数详解
22）、label_join(v instant-vector, dst_label string, separator string, src_label_1 string, src_label_2 string, ...) 函数可以将时间序列 v 中多个标签 src_label 的值，通过 separator 作为连接符写入到一个新的标签 dst_label 中。14）、exp(v instant-vector) 函数，输入一个瞬时向量，返回各个样本值的 e 的指数值，即 e 的 N 次方。
2022-11-08 14:40:22
6882
转载 Clickhouse 分布式表&本地表 &ClickHouse实现时序数据管理和挖掘
一、CK 分布式表和本地表（1）CK是一个纯列式存储的数据库，一个列就是硬盘上的一个或多个文件（多个分区有多个文件），关于列式存储这里就不展开了，总之列存对于分析来讲好处更大，因为每个列单独存储，所以每一列数据可以压缩，不仅节省了硬盘，还可以降低磁盘IO。（2）CK是多核并行处理的，为了充分利用CPU资源，多线程和多核必不可少，同时向量化执行也会大幅提高速度。（3）提供SQL查询接口，CK的客户端连接方式分为HTTP和TCP，TCP更加底层和高效，HTTP更容易使用和扩展，一般来说HTTP足矣，社区已经有很
2022-06-03 15:16:58
4082
转载 软件性能测试分析与调优实践之路-Java应用程序的性能分析与调优-手稿节选
Java编程语言自从诞生起，就成为了一门非常流行的编程语言，覆盖了互联网、安卓应用、后端应用、大数据等很多技术领域，因此Java应用程序的性能分析和调优也是一门非常重要的课题。Java应用程序的性能直接关系到了很多大型电商网站的访问承载能力、大数据的数据处理量等，它的性能分析和调优往往还可以节省很多的硬件成本。5.1 JVM基础知识5.1.1 JVM简介JVM是Java Virtual Machine（Java虚拟机）的英文简写，通过在实际的计算机上仿真模拟各种计算机功能来实现的。Java编程语言在引入
2022-06-03 15:10:51
886
转载 软件性能测试分析与调优实践之路-JMeter对RPC服务的性能压测分析与调优-手稿节选
一、JMeter 如何通过自定义Sample来压测RPC服务RPC（Remote Procedure Call）俗称远程过程调用，是常用的一种高效的服务调用方式，也是性能压测时经常遇到的一种服务调用形式。常见的RPC有GRPC、Thrift、Dubbo等。这里以GRPC为例介绍在JMeter中如何添加自定义的Sample来压测GRPC服务，JMeter中提供的Sample如下图所示，从中可以看到并没有我们需要压测GRPC的Sampler。本文作者：张永清， 转载请注明： https://www.cnblog
2022-06-03 15:08:22
609
转载 MongoDB Java API操作很全的整理以及共享分片模式下的常见操作整理
MongoDB是一个基于分布式文件存储的数据库。由 C++ 语言编写，一般生产上建议以共享分片的形式来部署。 但是MongoDB官方也提供了其它语言的客户端操作API。如下图所示：提供了C、C++、C#、.net、GO、java、Node.js、PHP、python、scala等各种语言的版本，如下图所示：MongoDB的操作分为同步操作和异步操作以及响应式编程操作一、同步操作API官方JAVA API的路径：https://docs.mongodb.com/ecosystem/drive.
2021-03-30 19:37:24
708
转载 大数据时代，数据实时同步解决方案的思考—最全的数据同步总结
1、 早期关系型数据库之间的数据同步1）、全量同步比如从oracle数据库中同步一张表的数据到Mysql中，通常的做法就是 分页查询源端的表，然后通过 jdbc的batch 方式插入到目标表，这个地方需要注意的是，分页查询时，一定要按照主键id来排序分页，避免重复插入。2）、基于数据文件导出和导入的全量同步，这种同步方式一般只适用于同种数据库之间的同步，如果是不同的数据库，这种方式可能会存在问题。3）、基于触发器的增量同步增量同步一般是做实时的同步，早期很多数据同步都是基于关系型
2021-03-30 19:36:14
5638
转载 性能测试分析与性能调优诊断--史上最全的服务器性能分析监控调优篇
一个系统或者网站在功能开发完成后一般最终都需要部署到服务器上运行，那么服务器的性能监控和分析就显得非常重要了，选用什么配置的服务器、如何对服务器进行调优、如何从服务器监控中发现程序的性能问题、如何判断服务器的瓶颈在哪里等 就成为了服务器性能监控和分析时重点需要去解决的问题了。本文章节目录：1 服务器的性能监控和分析1.1、 Linux服务器的性能指标监控和分析1.1.1 、 通过vmstat深挖服务器的性能问题1.1.2 、 如何通过m...
2021-03-30 19:35:05
1141
转载 Elasticsearch Java API 很全的整理以及架构剖析
Elasticsearch 的API 分为 REST Client API（http请求形式）以及 transportClient API两种。相比来说transportClient API效率更高，transportClient 是通过Elasticsearch内部RPC的形式进行请求的，连接可以是一个长连接，相当于是把客户端的请求当成Elasticsearch 集群的一个节点，当然 REST Client API 也支持http keepAlive形式的长连接，只是非内部RPC形式。但是从Elast
2021-03-30 19:33:36
265
转载 apache-atlas 深度剖析
atlas 是apache下的大数据的元数据管理和数据治理平台，是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。支持对hive、storm、kafka、hbase、sqoop等进行元数据管理以及以图库的形式展示数据的血缘关系。 •各种Hadoop和非Hadoop元数据的预定义类型 •为要管理的元数据定义新类型的能力 •类型可以具有原始...
2021-03-30 19:32:10
1763
1
转载 flink 流式处理中如何集成mybatis框架
flink 中自身虽然实现了大量的connectors，如下图所示，也实现了jdbc的connector，可以通过jdbc 去操作数据库，但是flink-jdbc包中对数据库的操作是以ROW来操作并且对数据库事务的控制比较死板，有时候操作关系型数据库我们会非常怀念在java web应用开发中的非常优秀的mybatis框架，那么其实flink中是可以自己集成mybatis进来的。 我们这里以flink 1.9版本为例来进行集成。如下图为flink内部自带的flink-jdbc：创建一个fli.
2021-03-30 19:31:05
1339
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人