- 博客(11)
- 收藏
- 关注
RSS订阅转载 批流统一计算引擎的动力源泉—Flink Shuffle机制的重构与优化
一. 概述 本文讲述的shuffle概念范围如下图虚线框所示，从上游算子产出数据到下游算子消费数据的全部流程，基本可以划分成三个子模块： 上游写数据：算子产出的record序列化成buffer数据结构插入到sub partition队列；网络传输：上下游可能调度部署到不同的container中，上游的数据需要经过网络传输到下游，涉及到数据拷贝和编解码流程；下游读数据：从网络上接收...
2021-12-29 12:53:44
989
原创 分布式系统
什么是分布式系统？分布式系统（即：多节点系统）是由一组通过网络进行通信，为了完成共同的任务而协调工作的计算机节点组成的系统。分布式系统的出现是为了用廉价的、普通的机器机器完成单个计算机无法完成的计算、存储任务，其目的是利用更多的机器处理更多的数据...
2021-12-28 23:29:54
1119
转载 ClickHouse在苏宁用户画像场景的实践
关注公众号，获取更多一线大厂最新资讯！ 摘要：今天分享的主要内容是ClickHouse在苏宁用户画像场景的实践 分享时间：2021年5月26日 内容分享：杨兆辉 摘要整理：皮卡丘 主要内容： 苏宁如何使用ClickHouseClickHouse集成Bitmap用户画像场景 ClickHouse ClickHouse是一个面向联机分析处理(OLAP)的开源...
2021-12-28 23:25:04
861
原创 如何以并发方式在同一个流上执行多种操作
如果你试图多次遍历同一个流，结果只有一个，那就是遭遇下面这样的异常：java.lang.IllegalStateException: stream has already been operated upon or closed以下示例利用Spliterator，尤其是它的延迟绑定能力，结合BlockingQueues和Futures来实现这一大有裨益的特性。import java.ut...
2019-10-08 19:16:32
276
转载 JVM方法区
方法区在一个jvm实例的内部，类型信息被存储在一个称为方法区的内存逻辑区中。类型信息是由类加载器在类加载时从类文件中提取出来的。类(静态)变量也存储在方法区中。 jvm实现的设计者决定了类型信息的内部表现形式。如，多字节变量在类文件是以big-endian存储的，但在加载到方法区后，其存放形式由jvm根据不同的平台来具体定义。 jvm在运行应用时要大量使用存储在方法区中的类型信息。...
2018-08-15 15:40:44
886
转载 Java方法区、永久代、元空间、常量池详解
1.JVM内存模型简介堆——堆是所有线程共享的，主要用来存储对象。其中，堆可分为：年轻代和老年代两块区域。使用NewRatio参数来设定比例。对于年轻代，一个Eden区和两个Suvivor区，使用参数SuvivorRatio来设定大小； Java虚拟机栈/本地方法栈——线程私有的，主要存放局部变量表，操作数栈，动态链接和方法出口等； 程序计数器——同样是线程私有的，记录当前线程的行号指示器...
2018-08-12 16:03:27
244
转载 Java8特性详解 lambda表达式 Stream
1.lambda表达式Java8最值得学习的特性就是Lambda表达式和Stream API，如果有python或者javascript的语言基础，对理解Lambda表达式有很大帮助，因为Java正在将自己变的更高（Sha）级（Gua），更人性化。--------可以这么说lambda表达式其实就是实现SAM接口的语法糖。lambda写的好可以极大的减少代码冗余，同时可读性也好过冗长的内部...
2018-08-06 13:20:43
158
转载 java最佳实践
1. Never Swallow InterruptedExceptionLet's check the following code snippet:public class Task implements Runnable { private final BlockingQueue<String> queue = ...; @Override public void run(...
2018-07-13 14:48:16
363
转载 从零开始写一个框架的详细步骤
https://blog.csdn.net/liu88010988/article/details/51547592定位所谓定位就是回答几个问题，我出于什么目的要写一个框架，我的这个框架是干什么的，有什么特性适用于什么场景，我的这个框架的用户对象是谁，他们会怎么使用，框架由谁维护将来怎么发展等等。如果你打算写框架，那么肯定心里已经有一个初步的定位，比如它是一个缓存框架、Web MVC框架、IOC框...
2018-06-26 15:46:48
3206
转载 Mysql的索引详解
1. 索引基础1.1 简介在MySQL中，索引（index）也叫做“键（key）”，它是存储引擎用于快速找到记录的一种数据结构。索引对于良好的性能非常关键，尤其是当表中的数据量越来越大时，索引对性能的影响就愈发重要。索引优化应该是对查询性能优化最有效的手段，创建一个真正最优的索引经常需要重写SQL查询语句。1.2 索引的工作原理要理解MySQL中索引的工作原理，最简单的方法就是去看一看一本书的索引...
2018-05-21 18:04:01
419
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人