zdy0_2004的专栏

摘要：本文详细介绍了 Flink + Hudi 湖仓一体化方案的原型构建。主要内容为： Hudi 新架构与湖仓一体 最佳实践 Flink on Hudi Flink CDC 2.0 on Hudi Tips：FFA 2021 重磅开启，点击「阅读原文」即可报名～GitHub 地址欢迎大家给Flink点赞送 star~一、Hudi1. 简介Apache Hudi (发音为 “Hoodie”)在 DFS...

一、初识MGR相信很多人对MGR这个词比较陌生，其实MGR(全称MySQL Group Replication【MySQL 组复制】)是Oracle MySQL于2016年12月发布MySQL 5.7.17推出的一个全新高可用和高扩展的解决方案。具备以下特性： 高一致性，基于原生复制及Paxos协议的组复制技术，并以插件的方式提供，提供一致数据安全保证； 高容错性，只要不是大多数节点坏掉就可以继续工作，有自动检测机制，当不同节点产生资源争用冲突时，不会出现错误，按照先到者优..

一文搞懂 | Linux 同步管理（下）RCU 解决了什么RCU 是读写锁的高性能版本，它的核心理念是读者访问的同时，写者可以更新访问对象的副本，但写者需要等待所有读者完成访问之后，才能删除老对象。读者没有任何同步开销，而写者的同步开销则取决于使用的写者间同步机制。RCU 适用于需要频繁的读取数据，而相应修改数据并不多的情景，例如在文件系统中，经常需要查找定位目录，而对目录的修改相对来说并不多，这就是 RCU 发挥作用的最佳场景。RCU 例子RCU 常用的接口如下图所示：API

https://mp.weixin.qq.com/s/t4ziv-yNK_8QRtSjrDl3YQ前言女朋友常逛的设计网站这两天页面上多了下雪的效果，于是问我我的网站能下雪吗，作为一个程序员我一般会说实现不了，但是作为男朋友，不能说不行。雪雪我们可以使用span标签和css的径向渐变简单意思一下：.snow{display:block;width:100px;height:100px;background-image:radial-grad...

https://mp.weixin.qq.com/s/-jDfpJJaiMdy2nqrWisiZQ一、Linux设备分类Linux系统为了管理方便，将设备分成三种基本类型： 字符设备 块设备 网络设备 字符设备：字符（char）设备是个能够像字节流（类似文件）一样被访问的设备，由字符设备驱动程序来实现这种特性。字符设备驱动程序通常至少要实现open、close、read和write的系统调用。字符终端（/dev/console）和串口（/dev/ttyS0以及类

https://mp.weixin.qq.com/s/QshDG-nbmBcF1OBZbBFwjg作者：draculaqian，腾讯后台开发工程师引言存储场景中，我们对性能的要求非常高。在存储引擎底层的IO技术选型时，可能会有如下讨论关于IO的讨论。http://davmac.org/davpage/linux/async-io.htmlSo from the above documentation, it seems that Linux doesn't have a true asy

https://juejin.cn/post/6925311938419408904深入浅出前端本地储存引言2021 年，如果你的前端应用，需要在浏览器上保存数据，有三个主流方案：Cookie Web Storage (LocalStorage) IndexedDB这些方案就是如今应用最广、浏览器兼容性最高的三种前端储存方案今天这篇文章就聊一聊这三种方案的历史，优缺点，以及各自在今天的适用场景文章在后面还会提出一个全新的，基于 IndexedDB 的，更适合现代前端应用的前端本

https://mp.weixin.qq.com/s/uoeyA09NacA5mzpKpX3neASpark 基础Spark特性Spark使用简练优雅的Scala语言编写，基于Scala提供了交互式编程体验，同时提供多种方便易用的API。Spark遵循“一个软件栈满足不同应用场景”的设计理念，逐渐形成了一套完整的生态系统（包括 Spark提供内存计算框架、SQL即席查询（Spark SQL）、流式计算（Spark Streaming）、机器学习（MLlib）、图计算（Graph X）等），S..

http://blog.csdn.net/magod/article/details/72655551、让出处理器　　Linux提供一个系统调用运行进程主动让出执行权：sched_yield。进程运行的好好的，为什么需要这个函数呢？有一种情况是用户空间线程的锁定。如果一个线程试图取得另一个线程所持有的锁，则新的线程应该让出处理器知道该锁变为可用。用户空间锁没有内核的支持，这是一个最

http://geek.csdn.net/news/detail/1058422016年11月18日-20日，由CSDN重磅打造的年终技术盛会SDCC 2016中国软件开发者大会将在北京举行，大会秉承干货实料（案例）的内容原则，本次大会共设置了12大专题、近百位的演讲嘉宾，并邀请业内顶尖的CTO、架构师和技术专家，与参会嘉宾共同探讨电商架构、高可用架构、编程

http://blog.sina.com.cn/s/blog_72995dcc0101gn82.html一、Thrift 框架介绍1、前言Thrift是一个跨语言的服务部署框架，最初由Facebook于2007年开发，2008年进入Apache开源项目。Thrift通过一个中间语言(IDL, 接口定义语言)来定义RPC的接口和数据类型，然后通过一个编译器生成不同语言

http://www.cnblogs.com/mephisto/p/5089817.html阅读目录序将查询的结果写入文件系统集群数据迁移一集群数据迁移二系列索引 序     上一篇，我们介绍了Hive的数据多种方式导入，这样我们的Hive就有了数据来源了，但有时候我们可能需要纯粹的导出，或者集群Hive数据的迁移（不同集群，不同版本

http://www.cnblogs.com/xiuyangleiasp/p/5070991.html问题描述     给定一个字符串，求它的最长回文子串的长度。     回文串就是正着读和反着读都一样的字符串。分析与求解解法一 蛮力法      最容易想到的就是蛮力求解，即求出该字符串的每一个子串，再判断子串是否是回文串，找到最长的那个。其中求出每个子串的时间复杂

http://www.cnblogs.com/shenlinken/p/6657931.html在数据量大的时候，硬中断和软中断会形成瓶颈。网卡接收数据包，从网卡产生中断信号，CPU将网络数据包拷贝到内核，然后进行协议栈的处理，最后将数据部分传递给用户空间，但硬件中断处理仅仅做从网卡拷贝数据的工作，而协议栈的处理的工作就交给软中断处理。所以当硬中断和软中断集中在cpu0

http://www.cnblogs.com/pinard/p/6509630.html　　　　在前面我们讲到了DNN，以及DNN的特例CNN的模型和前向反向传播算法，这些算法都是前向反馈的，模型的输出和模型本身没有关联关系。今天我们就讨论另一类输出和模型间有反馈的神经网络：循环神经网络(Recurrent Neural Networks ，以下简称RNN)，它广泛的用于自

http://www.cnblogs.com/MOBIN/p/5384543.html摘要：RDD：弹性分布式数据集，是一种特殊集合 ‚ 支持多种来源 ‚ 有容错机制 ‚ 可以被缓存 ‚ 支持并行操作，一个RDD代表一个分区里的数据集RDD有两种操作算子：        Transformation（转换）：Transformation属于延迟计算，当一

http://www.cnblogs.com/w1991/p/5155202.htmlStorm集成KafkaStorm简介少量数据的实时处理可以使用JMS（Java Messaging Service）这类技术，但是数据量很大时便会出现性能瓶颈。而且这些方案不适合横向扩展。Storm是开源的分布式实时数据处理系统。它可用于很多场景，如实时分析（real

http://www.cnblogs.com/lanrenxinxin/p/5064671.html0x00 前言本文主要是讨论Windows 7 x64下的内核虚拟地址空间的结构，可以利用WiinDBG调试的扩展命令"!CMKD.kvas"来显示x64下的内核虚拟地址空间的整体布局。了解内核的地址布局在某些情况下是很有的，比如说在研究New Blue Pill的源码和虚拟化的时候。

http://blog.sina.com.cn/s/blog_5eef0840010147pa.htmlSVM多类分类方法的实现根据其指导思想大致有两种：（1）将多类问题分解为一系列SVM可直接求解的两类问题，基于这一系列SVM求解结果得出最终判别结果。(2)通过对前面所述支持向量分类机中的原始最优化问题的适当改变，使得它能同时计算出所有多类分类决策函数，从而“一次性”地实

python机器学习《回归 一》 唠嗑唠嗑依旧是每一次随便讲两句生活小事。表示最近有点懒，可能是快要考试的原因，外加这两天都有笔试和各种面试，让心情变得没那么安静的敲代码，没那么安静的学习算法。搞得第一次和技术总监聊天的时候都不太懂装饰器这个东东，甚至不知道函数式编程是啥；昨天跟另外一个经理聊天的时候也是没能把自己学习的算法很好的表达出来，真是饱暖思**啊。额，