a958014226的博客

我们兴奋的向大家宣布一个好消息DTstackCon新成员袋鼠云一站式全自动化全生命周期运维管家ChengYing（承影）正式开源项目地址Github开源地址：https://github.com/DTStack/chengyingGitee开源地址：https://gitee.com/dtstack_dev_0/chengying官方文档：https://dtstack.

文章原文：直播预告｜离线数仓建设，企业大数据的业务驱动与技术实现报名链接：https://app.jingsocial.com/microFrontend/leadGeneration/jsf-leads/list/webinar/o2GseB3oe33eSUXqEsTUW5/Ej5eRQdzk34uutST6gtLYB一、课程介绍随着企业的高速发展，业务范围不断扩展，企业数据量暴增，面对着海量多源异构数据的存储与处理、数据的快速分析及深度挖掘等需求，传统数仓所面临的问题越来越明显。.

导读：4月26日晚，ChunJun项目核心成员、袋鼠云数栈大数据引擎开发专家渡劫为大家带来分享《ChunJun支持异构数据源DDL转换与自动执行》，我们将直播精华部分做了整理，带大家再次回顾内容，加深技术细节的了解。你能看到▫ 数据还原介绍▫ DDL自动转换架构设计▫ Calcite解析DDL实战直播课件获取：关注公众号“数栈研习社”，后台私信“ChunJun01”获得直播课件直播视频回看：点击“阅读原文”，观看精彩视频https://www.bili..

Web IDE的开发从来是整个大数据平台开发中非常繁复和笨重的一环，两个UI组件库一起用更是bug的代名词，有没有什么办法能解决这个问题呢？

数据处理一直是很多企业的头疼难题，数据仓库不兼容多种格式的数据存储，Hadoop数据处理又缺乏调优，导致资源浪费、小文件问题。数栈提出“湖仓一体”，点击查看数据处理新方案。

引言一项技术能得以广泛运用，其中的一个关键点在于工程化。前端从最开始的简单写写网页和样式，发展为需要处理复杂的逻辑，伴随而来的是问题是相关文件越来越多，简单在网页中引用已经解决不了问题，需要相关的工程化工具来处理和优化这个流程。前端社区也涌现了较多的解决方案，例如rollup，parcel，webpack，esbuild等，在不同情况下都能较好的处理问题。这其中webpack因其微内核架构，在核心功能稳定且优秀的发挥情况下，开发者可以灵活的控制各个流程，使得其周边生态趋于多样和较为完善，逐渐成为各解决方

一、需求背景产品成立之初，产品的需求是需要对各种指标进行公式运算，组合成一个新的复合指标，供后续使用。当时产品提出的形式是有两种：一种是直接让用户输入，不作任何其他操作，但这种方式带来的问题一个是，需要前端对公式进行复杂的校验，太多不可控的问题，另一个是操作指导性很弱，用户在使用的时候没有任何限制，也并不太能明白如何操作；另一种方式就是让用户通过拖拽的方式，添加运算符，去组成自己需要的公式，比较直观，且视觉效果更好，所以最终产品交互选定用这种方式。二、选型考虑复合指标的高级模式功能点分解

一、浅析DevOps互联网的发展形同潮水，来势汹汹、快而迅猛，企业业务日益庞大的同时伴随着团队规模的扩大，业务的复杂度与关联性显著提升的同时对效能也有了更高的要求，高效协同之间，我们既要追求快速交付，亦要保证产品的质量与稳定，两者之间产生了矛盾。DevOps作为这个矛盾平衡点，其概念最早于2009年被提出，并在近几年受到企业广泛的关注与实践。促使DevOps近年高频出现的原因，我们总结出以下两点：传统研发模式下的运维之痛。以往的研发模式经历了瀑布式开发、敏捷开发两个阶段，前者严格按照“本阶段完成、下

随着移动互联网的发展，数字化营销、个性化推荐、AR场景等业务场景为企业带来机遇的同时也提出了技术上的挑战，各企业开始采取实时化方式处理数据以此满足用户。但是，技术更新迭代快，代码研发周期长，人才招聘难，运维成本高等问题也随之产生。对于企业来说如何快速在数字化经济时代，抓住机遇，搭建一套稳定、可靠、低成本、高效率的大数据平台至关重要

这篇文章的主题为我们对 Form 表单在数栈产品中使用之后理解消化的一个过程，通过介绍一些 Form表单中常用到的方法，来理解部分设计思想，加深我们对技术的追求。主要介绍 Form 表单的创建和 Form表单双向绑定（getFieldDecorator）。后文中所提到的 Form 表单均为 Antd 3.x 中的 Form 组件，以下简称为 Form 表单。在 Form 表单在数栈的应用(上): 校验篇 中提到，我们生在一个最好的时代，其实是别人造好轮子帮我们做了一些事情，那我们今天看一看，别人的轮.

本文为主题即为 Form 表单在数栈的应用，旨在希望能通过一些在数栈已经应用的实例和笔者整理的小tips来帮助大家更深入的理解Form表单校验、以及联动校验的认知和做法。

访问控制（Access control）是指对访问者向受保护资源进行访问操作的控制管理。该控制管理保证被授权者可访问受保护资源，未被授权者不能访问受保护资源。

哈喽！朋友们11月23日晚19:00袋鼠云数栈的大数据引擎开发技术大咖-渡劫在钉钉群、微信视频号和B站同步直播FlinkX技术分享《FlinkX HDFS Write vs StreamFileSink设计原理与使用》有没有看呢？我们看过的小伙伴都表示学到了渡劫深入浅出的把日常遇到的困惑完美解答错过的人儿想看的话（方法贴在下面了）下面和数栈君一起回顾下本次的直播主要讲了些啥？敲黑板，划重点一、Flinkx-FileSystem原理与使用 Flinkx-FileS..

近年来，银行业的数据规模呈指数级增长趋势，以大数据为驱动，探索多元化业务新增长模式，深入推进业务模式数字化转型，已成为银行业的共识。以袋鼠云在助力金融行业数字化转型的过程中，所接触到的某银行客户A为例，该企业在数字化建设方面做了很多积极探索。自建的大数据平台使用弊端暴露早在2014年的时候，客户行内就成立了数据部门搭建了一套功能较为齐全，流程运转良好的数据平台体系。客户A采用GaussDB和Oracle作为存储和计算引擎，自研了数据同步工具和资产管理平台，使用开源的ETL工具进行数据开发和任务调..

《数智洞见》数字化浪潮席卷而来，颠覆性创新正在加速。企业面临着前所未有的挑战和机遇，数字化转型成为其生存与领先发展的关键突破口。据研究数据显示，数字化转型程度高的企业获得快速增长的几率是程度低的企业四倍之多。如何进行数字化转型、如何通过利用大数据，找到新的机遇和价值增长点成为越来越多企业关注的话题。袋鼠云数栈赋能20+行业，服务3000+客户，是研究数字化转型解决方案的先行者，产品融合了大数据行业云原生、信创、湖仓一体、批流一体、多引擎兼容、跨云能力等多项前沿技术，在金融、政府、教育、军工等众多行业

作者：石潇软件测试有多种多样的方法和技术，可以从不同角度对它们进行分类。其中，根据软件生命周期，针对不同的测试对象与目标，可将测试过程分为4个阶段：单元测试、集成测试、系统测试和验收测试。本文着重介绍了如何借用pytest与httprunner进行接口自动化测试。一、 什么是接口测试In computing, an interface is a shared boundary across which two or more separate components of a computer

《数智洞见》数字化浪潮席卷而来，颠覆性创新正在加速。企业面临着前所未有的挑战和机遇，数字化转型成为其生存与领先发展的关键突破口。据研究数据显示，数字化转型程度高的企业获得快速增长的几率是程度低的企业四倍之多。如何进行数字化转型、如何通过利用大数据，找到新的机遇和价值增长点成为越来越多企业关注的话题。袋鼠云数栈赋能20+行业，服务3000+客户，是研究数字化转型解决方案的先行者，产品融合了大数据行业云原生、信创、湖仓一体、批流一体、多引擎兼容、跨云能力等多项前沿技术，在金融、政府、教育、军工等众多..

前言FlinkX是袋鼠云自研大数据中间件，主要针对离线同步和实时采集功能进行实现。在实际应用中，这种数据同步采集的逻辑我们最需要关注的就是他的支持能力和采集速度，这些是其最直观的指标。通过对其支持能力的性能测试，找到FlinkX的性能瓶颈，有针对性的进行优化，提高中间件的能力。本文对于FlinkX中实时采集的功能，Oracle Logminer数据实时采集的逻辑进行性能测试并分析，分享在测试过程中的测试点与测试方法。1.测试目的针对FlinkX Logminer的性能测试主要是为了探.

Hello，朋友们8月18日晚19:00袋鼠云数栈的大数据引擎开发技术大牛修竹在钉钉群、微信视频号和B站同步直播FlinkX技术分享《Flink SQL转换Operator流程及源码解析》你赶上车没？相信看了的朋友们都Get了许多干货错过的童鞋不要着急（方法贴在下面了）下面和数栈君一起回顾下本次直播的内容敲黑板，划重点一、Flink SQL转换流程1.前置知识：JavaCC2.前置知识：Apache Calcite3.Flink

数栈是—站式大数据开发平台，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee开源项目：https://gitee.com/dtstack_dev_0/flinkx有兴趣的话，欢迎大家加

编者按写在前面的话在介绍本篇文章的时候，先说一下本篇文章的一些背景。笔者是基于公司的基础建设哆啦 A 梦（Doraemon）(https://github.com/DTStack/doraemon)一些功能背景写的这篇文章。不了解或者有兴趣的同学可以去袋鼠云(https://github.com/DTStack)的 github 下面了解一下百宝箱哆啦 A 梦。在哆啦 A 梦中可以配置代理，我们在配置中心的配置详情下，可以找到主机对应的 nginx 配置文件或者其他文件，可以在这里对其.

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee开源项目：https://gitee.com/dtstack_dev_0/flinkx用过 Re.

一、JavaScript 代码运行以大家开发常用的 Chrome 浏览器或 Node 举例，我们的 JavaScript 代码是通过 V8 运行的。但 V8 是怎么执行代码的呢？当我们输入 const foo = {foo:'foo'} 时 V8 又做了什么？笔者先抛出以上问题，我们接着往下看。二、JavaScript 存储在代码运行时，最重要的前提便是有一个能够存储状态的地方，这便是我们所述的堆栈空间。我们的基础类型是保存在栈中的，会自动进行回收；而复合类型是保存在堆中的，通过GC操作进行

一、解读type执行计划的type表示访问数据类型，有很多种访问类型。1、system表示这一步只返回一行数据，如果这一步的执行对象是一个驱动表或者主表，那么被驱动表或者子查询只是被访问一次。2、const表示这个执行步骤最多只返回一行数据。const通常出现在对主键或唯一索引的等值查询中，例如对表t主键id的查询：3、eq_refeq_ref类型一般意味着在表关联时，被关联表上的关联列走的是主键或者唯一索引。例如，表jiang关联lock_test表，关联列分别是两张表的主键

Part1: What is Dependency injection依赖注入定义为组件之间依赖关系由容器在运行期决定，形象的说即由容器动态的将某个依赖关系注入到组件之中在面向对象编程中，我们经常处理的问题就是解耦，控制反转(IoC)就是常用的面向对象编程的设计原则，其中依赖注入是控制反转最常用的实现。目标解决当前类不负责被依赖类实例的创建和初始化。Part2: What is Dependency依赖是程序中常见的现象，假设有 A和B都被C耦合依赖着，在 OOP 编程中依赖无处不在。依赖..

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee开源项目：https://gitee.com/dtstack_dev_0/flinkx一、从哪.

一、关于袋鼠云和数据中台2017年杭州云栖大会上，袋鼠云正式将「数据中台」作为自己的业务战略方向。2018年，袋鼠云在业内率先推出《袋鼠云数据中台专栏V1.0》，阐述自己的数据中台理念和方法论。2019年，袋鼠云基于两年来在数据中台领域的探索和实践经验，推出《袋鼠云数据中台专栏V2.0》升级版。二、 数据中台是理念，是方法论【数据中台】理念由阿里云和袋鼠云最先提出。袋鼠云依托最新的数据采集、加工处理、数据挖掘、机器学习，深度学习等技术，并结合自身多年数据应用经验，打造了袋鼠云数据中台

先说一下写着篇文章的契机，是因为回显，复杂表单的回显，让我觉得我对initialValue这个属性是有误解的。一、initialValue的出处和定义initialValue的出处：AntDesign/Form表单件/getFieldDecorator(id，options)装饰器函数/第二个参数options/options.initialValue。链接地址：https://ant.design/components/form-cn/#getFieldDecorator(id,-

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee开源项目：https://gitee.com/dtstack_dev_0/flinkx「表格存.

ArchSummit2021年全球架构师峰会于4月25日-26日在上海举办，袋鼠云运维开发技术专家沙章利（花名：浣熊）应邀出席此次峰会，并在4月26日下午的《弹性架构实践》专题会场上为大家带来《弹性云原生大数据系统架构实践》的演讲。本次演讲主要介绍袋鼠云基于数栈、结合数年大数据基础设施建设经验，打造云环境下的大数据基础设施的实践和案例，部分架构细节首次对外公布，以下内容整理自本次架构峰会。...

今天，大家就请跟着数栈君一起，和申杭聊聊他从青铜到星耀的大数据之路。数栈君：申杭，你是07年从华中科技大学软件工程专业毕业的，能说说你当时为什么选择这个专业吗？申杭：当时会计、师范、机械制造、土木类专业比较热门，一般家人都会让报这些专业，出来好就业。而电子、计算机、软件工程类的专业刚刚兴起，前景并不是很明朗，不过我那时对计算机还是挺好奇的，觉得电脑上开几个黑窗口，随便敲一堆英文字母,就可以做很多事情，很神奇，当看到软件这个名字，感觉很高端、神秘，所以就报了软件工程专业。说起来，我是华科软件专业第..

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee开源项目：https://gitee.com/dtstack_dev_0/flinkx袋鼠云云.

一、前言随着技术不断的成熟及市场需求的日益旺盛，实时开发已经成为当前大数据开发不可或缺的一部分。在整个实时开发的链路中，数据采集需要写入到Kafka，数据处理也需要使用到Kafka。今天我们就针对Kafka这个时下主流的消息中间件进行简单的介绍。二、消息队列：数据流的归宿在实时开发的场景中，来源于各类行为、事件的数据是随着发生时间源源不断如同河流一般进入实时任务并不断产出结果的。传统的异构数据源，数据以结构化的形式存储在对应的库表内。那么除了数据本身包含的业务时间属性，要如何找到一个稳...

从马车到汽车是为了提升运输效率，而随着时代的发展，如今我们又希望用自动驾驶把驾驶员从开车这项体力劳动中解放出来，增加运行效率，同时也可减少交通事故发生率，这也是企业对于智能运维的诉求。从人工运维到自动化运维是为了减少人力成本，降低操作风险，提高运维效率，但自动化运维的本质依然是人与自动化工具相结合的运维模式，仍有局限性。为了持续地面向大规模、高复杂性的系统提供高质量的运维服务，智能运维（AIOps）应运而生。本文，袋鼠云将跟大家分享智能运维大数据平台（一款开箱即用的运维监控平台）在Oracle数..

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee开源项目：https://gitee.com/dtstack_dev_0/flinkx2020年春节

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee开源项目：https://gitee.com/dtstack_dev_0/flinkx数据库产.

一、大会介绍ArchSummit全球架构师峰会是极客邦科技旗下InfoQ中国团队推出的重点面向高端技术管理者、架构师的技术会议，54%参会者拥有8年以上工作经验。会议聚焦业界强大的技术成果，秉承“实践第一、案例为主”的原则，展示先进技术在行业中的典型实践，以及技术在企业转型、发展中的推动作用。旨在帮助技术管理者、CTO、架构师做好技术选型、技术团队组建与管理，并确立技术对于产品和业务的关键作用。二、演讲概要2021年4月25-26日，ArchSummit2021年全球架构师峰会将在上海举办，袋鼠

数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee开源项目：https://gitee.com/dtstack_dev_0/flinkx随着数智.

本文整理自：袋鼠云技术荟 | 某物流客户Elasticsearch集群性能优化案例数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee开源项目：http

本文整理自：袋鼠云技术荟 | 某客户生产服务器CPU负载异常处理数栈是云原生—站式数据中台PaaS，我们在github和gitee上有一个有趣的开源项目：FlinkX，FlinkX是一个基于Flink的批流统一的数据同步工具，既可以采集静态的数据，也可以采集实时变化的数据，是全域、异构、批流一体的数据同步引擎。大家喜欢的话请给我们点个star！star！star！github开源项目：https://github.com/DTStack/flinkxgitee开源项目：https://gitee