程序员光剑

原创 Java HotSpot(TM) 64-Bit Server VM warning: CodeCache is full. Compiler has been disabled

JVM JIT 生成已编译的代码并将其存储在称为 CodeCache 的内存区域中。大多数平台上 CodeCache 的默认最大大小为 48M。如果任何应用程序需要编译大量方法导致大量编译代码，则此 CodeCache 可能已满。当它变满时，编译器被禁用以停止任何进一步的方法编译，并记录如下消息：Java HotSpot(TM) 64-Bit Server VM warning: CodeCac...

原创 Spark Architecture 系统架构

Spark ArchitectureLet's have a look at Apache Spark architecture, including a high level overview and a brief description of some of the key software components.High level overviewAt the high leve...

原创 HBase vs Redis

HBase 对比 Redishttps://db-engines.com/en/system/HBase%3BRedis二者都属于NoSQL,但又有很大不同:HBase是一个分布式的、面向列的开源数据库，它是Apache的Hadooop项目的子项目。最初来源于Fay Chang所撰写的Google论文"Bigtable:一个结构化数据的;分布式存储系统"。一般和HDFS一起结合使用...

原创 什么是 Spark RDD ?

WHAT IS RDD ?RDD is the spark's core abstraction which is resilient distributed dataset.It is the immutable distributed collection of objects.RDD CreationRDD vs Dataframe vs Dataset...

原创 Hadoop vs Spark

Hadoop vs SparkBig Data Architecturehttps://www.youtube.com/watch?v=xDpvyu0w0C8

原创 What is Hadoop? SQL Comparison

原创 Spark RDD 极简教程

Spark 并行计算框架简介Spark 是什么?Spark is the most popular open-source distributed computing engine for big data analysis.Used by data engineers and data scientists alike in thousands of organizations ...

原创 YARN 简介

YARNYarn产生背景Yarn直接来自于MR1.0.MR1.0 问题：采用的是master slave结构，master是JobTracker。Slave是TaskTracker、JobTracker整个集群只有一个，构建调度和资源管理，两个功能。每个节点上，可以通过一个TaskTracker控制本节点的资源管理和任务管理。每个TaskTracker通过心跳机制周期性的向JobTracke...

原创 详解数仓中的数据分层：ODS、DWD、DWM、DWS、ADS

事实表的记录在不断地增长，比如电商的商品订单表，就是类似的情况，所以事实表的体积通常是远大于其他表。但是，实际情况下，我们所面临的数据状况很有可能是复杂性高、且层级混乱的，我们可能会做出一套表依赖结构混乱，且出现循环依赖的数据体系，比如下面的右图。该层是基于DWM上的基础数据，整合汇总成分析某一个主题域的数据服务层，一般是宽表，用于提供后续的业务查询，OLAP分析，数据分发等。该层是在DWD层的数据基础上，对数据做一些轻微的聚合操作，生成一些列的中间结果表，提升公共指标的复用性，减少重复加工的工作。

转载 Java 之父 James Gosling 最新访谈：JIT 很好，但不适合所有语言

计算机编程确实是一门艺术。James Gosling，“Java 之父”, 完成了 Java 的原始设计，并实现了 Java 最初版本的编译器和虚拟机。90年代初，James Goslin...

原创 使用 Swagger 的扩展组件Plugin 机制自定义API文档的生成

简史让我们先理一下springfox与swagger的关系。swagger是一个流行的API开发框架，这个框架以“开放API声明”(OpenAPI Specification，OAS)为基础，对整个API的开发周期都提供了相应的解决方案，是一个非常庞大的项目(包括设计、编码和测试，几乎支持所有语言)。OAS本身是一个API规范，它用于描述一整套API接口，包括一个接口是GET还是POST请求...

原创 ClickHouse SQL 语法极简教程

ClickHouse SQL 语法极简教程ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。在传统的行式数据库系统中，数据按如下顺序存储：RowWatchIDJavaEnableTitleGoodEventEventTime#0893543506621Investor Relations12016-05-18 05:19:...

原创 Java 虚拟机圖文詳解: JVM 體系結構 ( The JVM Architecture )

What Is the JVM?A Virtual Machine is a software implementation of a physical machine. Java was...

原创 Java 虚拟机圖文詳解: JVM 體系結構 ( The JVM Architecture Explained )

What Is the JVM?A Virtual Machine is a software implementation of a physical machine. Java was developed with the concept of WORA (Write Once Run Anywhere), which runs on a VM. The compiler comp...

原创 Kotlin Coroutines 协程实现原理全解析

Hello Coroutines Worldpackage coroutines.demoimport kotlinx.coroutines.coroutineScopeimport kotlinx.coroutines.delayimport kotlinx.coroutines.launchsuspend fun main() = coroutineScope...

原创 JVM 架构 : 运行时数据区 & 内存结构

JVM : Java Virtual Machine 架构JVM Architecture Runtime Data Area/Memory StructureClassloaderClass loader is a subsystem in JVM, which is primarily responasible...

原创 Java 泛型之 JDK 的底层实现原理

AnnotatedType数组类型、参数化类型和 类型变量，或通配符类型.package java.lang.reflect;/** * {@code AnnotatedType} represents the potentially annotated use of a type in * the program currently running in this VM. The u...

原创 Java Class 对象模型的数据结构分析

Instances of the class Class represent classes and interfaces in a running Java application. An enum is a kind of class and an annotation is a kind of interface. Every array also belongs to a class th...

原创 使用 javap 命令查看 Java Class 文件的字节码内容

何为 Java 字节码?Java 虚拟机(JVM)是运行 Java 字节码的虚拟机。JVM 有针对不同系统的特定实现(Windows，Linux，macOS)，目的是使用相同的字节码，它们都会给出相同的结果。什么是字节码?采用字节码的好处是什么?在 Java 中，JVM 可以理解的代码就叫做字节码(即扩展名为.class的文件)，它不面向任何特定的处理器，只面向虚拟机。Java 语言通过字节码的方...

原创 Spring Boot 应用监控: Java获取 CPU,内存, JVM 内部运行状况代码

package com.bytedance.kunlun.system;import com.google.common.collect.Maps;import com.sun.management.OperatingSystemMXBean;import org.springframework.stereotype.Component;import oshi.SystemInfo;i...

原创 Maven 如何编译 java 和 kotlin 编码的混合项目

Maven 如何编译 java 和 kotlin 编码的混合项目一、前提应用程序同时使用java和kotlin两种开发语言，则必须在 Java 编译器之前调用 Kotlin 编译器。二、解决方案根据 maven 的方式，则需要在 maven-compiler-plugin 之前运行 kotlin-maven-plugin，因此我们要确保 pom.xml 文件中的 kotlin 插件位于 maven...

原创 Spring Boot 自定义配置key @ConfigurationProperties(prefix = "db.clickhouse")

方案1：使用@Value读取application.properties里的配置内容配置文件application.propertiesspring.application.name=springbootdemoserver.port=8080mail.username=application-duanmail.password=application-duan123456测试代码类i...

原创 Java String Format 使用实例

Always forgetting the Java String formatting specifiers? Or maybe you never took the time to learn. Here's a reference of the various flags you can use.Have you tried to read and understand Java’s Str...

原创 夏天只是西瓜做的一个梦

夏天只是西瓜做的一个梦我们工作、学习、创业、打工，底层逻辑都是相通的——这个逻辑就是“道理”。这个世界是残酷的，事情是难做的，我们需要认清真相，但更要继续热爱生活。要开阔胸怀，迟早都是一死，怎么都能过。秋天来了，风过林梢，蝉鸣渐消——宛如细线在空中浮动；秋天的冷雨漫过了山梁，漫过了筏子，也漫过了我们的脚。秋天来了，你在干嘛呢？...

原创 今日，立秋。秋季养生篇。

云天收夏色，木叶动秋声。立秋了。时到立秋年过半。自立秋日始，天高气爽，月明风清，气温逐渐下降，正如谚语所说：“立秋之日凉风至”，“早上立了秋，晚上凉飕飕”。当然，后面还有“秋老虎”，不多说。吴澄撰《月令七十二候集解》中提到，“秋，揪也，物于此而揪敛也”。由此可见，秋天不仅是天气转凉的季节，也是万物收敛聚集的季节，是丰收的季节。立秋三候一候凉风至立秋后，开始刮偏北风，...

原创 jvm 内存分配性能提升之——逃逸分析与tlab

柏拉图说过：思想永远是宇宙的统治者。只要思想不滑坡，办法总比困难多。Java从最开始被诟病速度慢，到现在执行速度直追C语言。这些运行时优化是必不可少的。还记得我们之前讲的逃逸分析是怎么回事吗？jvm 分配内存当类已经被加载完毕了，那么会执行第二步，也就是分配内存。我们都知道new对象一般情况来说生成的对象都是会存放在堆当中(当存在栈上分配时，逃逸对象会优先分配在栈当中)，那么存放肯定是需...

转载 Kotlin 十周年：Kotlin 1.5稳定版发布——2021年第一个大版本更新有何亮点？

从2011年，JetBrains在 JVM 语言峰会上官宣了Kotlin 1.0 —— 一种用于 JVM 的新静态类型编程语言，到2021年，作为十周年首个大版本更新，Kotlin 发...

原创 Kotlin十周年：Kotlin 1.5稳定版发布——2021年第一个大版本更新有何亮点？

Kotlin十周年：Kotlin 1.5稳定版发布——2021年第一个大版本更新有何亮点？从2011年，JetBrains在 JVM 语言峰会上官宣了Kotlin 1.0 —— 一种用于 JVM 的新静态类型编程语言，到2021年，作为十周年首个大版本更新，Kotlin 发布了1.5版本。期待接下来的十年，Kotlin发展越来越好，给开发者们带来更多的福利，生态越来越繁荣，未来能有更多...

原创 中断和异常概念详解

1.什么是中断?中断CPU执行程序时，由于发生了某种随机的事件(外部或内部)，引起CPU暂时中断正在运行的程序，转去执行一段特殊的服务程序(中断服务子程序或中断处理程序)，以处理该事件，该事件处理完后又返回被中断的程序继续执行，这一过程称为中断。中断(interrupt)通常被定义为一个事件，该事件改变处理器执行的指令顺序。这样的事件与CPU芯片内外部硬件电路产生的电信号相对应。中断通常分...

原创 关于实用可满足性模理论（SMT）求解 Practical Satisfiability Modulo Theories (SMT) Solving...

Incomputer scienceandmathematical logic, thesatisfiability modulo theories(SMT) problem is adecision problemfor logical formulas with respect to combinations of backgroundtheoriesexpr...

原创 王献之碧玉小楷《洛神赋十三行》王献之小楷高清原石拓本对比图

洛...

原创 学字词——浇漓

浇漓[jiāo lí]释义1.亦作“浇醨”。浮薄不厚。多用于指社会风气。2.文风浮艳不实。3.酒味淡薄。亦借指薄酒。近义词浇薄“人心为风俗之本，未有人心浇漓而风俗朴厚者。”鲁迅《热风·随感录五十八》：“慷慨激昂的人说：‘世道浇漓，人心不古，国粹将亡，此吾所为仰天扼腕切齿三叹息者也！’”...

原创 排列组合公式 与24点编程游戏

排列组合公式此外,规定0! = 1.24点游戏编程问题问题描述你有 4 张写有 1 到 9 数字的牌。你需要判断是否能通过*，/，+，-，(，)的运算得到 24。示例 1:输入: [4, 1, 8, 7]输出: True解释: (8-4) * (7-1) = 24示例 2:输入: [1, 2, 1, 2]输出: False注意:除法运算符/表示实数除法，而不是整数除法。例...

原创 揭示宇宙的奥秘的公式: 标准模型 The Standard Model: The Most Successful Scientific Theory Ever...

原创 计算机软件设计中的抽象分层思想:操作系统,网络协议等

计算机中最重要的思想就是抽象，或者说是封装.抽象和分层是我们的强力武器，我们可以利用它们让我们的计算机系统更加强大，完成各种”不可能“。操作系统，应用软件设计，网络协议栈等等，都体现了分层思想。分层中，每个层次负责不同的功能。一般来讲，下层为上层提供服务，上层不要知道下层的具体实现细节，只需使用下层提供的服务。而层与层之间联系的桥梁就是“接口”(Interface)。OS调用硬件提供的api，软...

原创 OGNL (Object-Graph Navigation Language) 表达式 极简教程

OGNL 术语说明OGNL stands for Object-Graph Navigation Language; it is an expression language for getting and setting properties of Java objects, plus other extras such as list projection and selection and ...