Chain的博客

原创 Kafka 相关参数以及可靠性

Kafka 通过持久化消息到磁盘来保障消息存储的可靠性，但是消息都是先写到操作系统的页缓存中，如果没有fsync到磁盘，存在消息丢失的可能性Kafka 提供了两个参数来控制 Broker 的刷盘时机：long型，默认值null，单位ms，用于控制日志刷盘的时间间隔，每隔多少时间将消息刷到磁盘上long型，默认值9223372036854775807，用于控制日志刷盘的消息量，即每积累多少条消息将消息刷到磁盘上建议配置：#每当producer写入10000条消息时，刷数据到磁盘。

转载 交换机loopback口

如果选择的是物理接口的IP地址，当这个物理接口状态变为Down时，系统也不会重新选择Router ID，除非这个被选择的IP地址被删除。为了保障服务器的安全，SNMP trap将Loopback接口的IP地址作为源IP地址，而不是出接口的IP地址。出于对NTP的安全考虑，NTP将Loopback接口的IP地址（而不是出接口的IP地址）作为源地址。通常配置为借用Loopback接口的地址，以保持接口的稳定性。配置RADIUS服务器时，使从该路由器始发的报文使用的源IP地址是Loopback接口的IP地址。

转载 Flink-----任务调度slot和subtask配置

为了实现并行执行，Flink应用会将算子划分为不同任务，然后将这些任务分配到集群中的不同进程上去执行。和很多其他分布式系统一样，Flink应用的性能很大程度上取决于任务的调度方式。任务被分配到的工作进程、任务间的共存情况以及工作进程中的任务数都会对应用的性能产生显著影响。本节中我们就讨论一下如何通过调整默认行为以及控制作业链与作业分配（处理槽共享组）来提高应用的性能。其实这两个概念我们可以看作：资源共享链与资源共享组。

转载 java动态加载jar包，并运行其中的类和方法

动态加载jar包，在实际开发中经常会需要用到，尤其涉及平台和业务的关系的时候，业务逻辑部分可以独立出去交给业务方管理，业务方只需要提供jar包，就能在平台上运行。第四：写个main函数测试下 TestMain (这里比较无聊，写了个从文件读的方式获取jar路劲，路径就是上面提到的jar所在的位置)第三：将TestAction所在的包导出成jar包的方式，eclipse中直接export即可，放到指定目录，此处放在。第二：改写下实体类，实现接口 TestAction。//第一种 配置成文件格式。

转载 Jackson Infinite recursion solution

根据错误提示中的infinite recursion知道是无线递归错误导致了堆栈溢出，查找代码后发现，由于代码中订单实体类Order内包含了订单详情OrderDetail的对象集合List，而OrderDetail内也含有订单Order对象，因此订单和订单详情是一对多双向关联的关系，在Jackson序列化List属性时会无循环下去，导致stackoverflow。在对象的序列化上选择自己需要的属性就可，对于不需要的属性就可以通过加入注解的方式忽略。

原创 Sql-拉链法

拉链表：维护历史状态，以及最新状态数据的一种表，拉链表根据拉链粒度的不同，实际上相当于快照，只不过做了优化，去除了一部分不变的记录，通过拉链表可以很方便的还原出拉链时点的客户记录。（也可以叫---缓慢变化维）4.表中的记录变化的比例和频率不是很大，比如，总共有1亿的用户，每天新增和发生变化的有200万左右，变化的比例占的很小。2.表中的部分字段会被update更新操作，如用户联系方式，产品的描述信息，订单的状态等等。1.有一些表的数据量很大，比如一张用户表，大约1亿条记录，50个字段，这种表。

转载 【Flink】yarn集群模式

Linux - export 命令的生命周期 : 断开会话后 export 的环境变量不生效；支持会话级别的新增、删除和修改环境变量，用作之后的程序使用，仅仅用作此次会话期间；flink系列 转载自作者：Z尽际链接：https://www.jianshu.com/p/f63b7e1e6e09来源：简书著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

转载 【Flink】内存分布

相关配置详细说明: Flink ConfigFlink JVM 进程的进程总内存（Total Process Memory）包含了由 Flink 应用使用的内存（Flink 总内存）以及由运行 Flink 的 JVM 使用的内存。 Flink 总内存（Total Flink Memory）包括 JVM 堆内存（Heap Memory）和堆外内存（Off-Heap Memory）。 其中堆外内存包括直接内存（Direct Memory）和本地内存（Native Memory）。配置 Flink 进程内存最简单

转载 【Flink】Checkpoint 基础（1）

Flink Checkpoint机制剖析(源码剖析)

原创 【Flink】Table\Sql API 笔记：Row和RowData

【Flink】Table\Sql API 笔记：Row和RowData

转载 【Flink】 Table/Sql API ——join 探究 （1）

在数据库中的静态表上做 OLAP 分析时，两表 join 是非常常见的操作。同理，在流式处理作业中，有时也需要在两条流上做 join 以获得更丰富的信息。Flink DataStream API 为用户提供了3个算子来实现双流 join，分别是：1、join()；本章重点讲解regular join以及interval join，其中临时表join的话下一章补充在数据库中的静态表上做 OLAP 分析时，两表 join 是非常常见的操作。

原创 【Flink】第二节 windows下运行

接上一节，flink编译ok了，但是我准备在windows上进行运行，但是好像1.10之后 start_cluster.bat没有了呢，这样我怎么运行呢，本节是准备这个问题。

原创 【Flink】第一节 源码编译

认识以及改造flink的第一步从下载编译源码开始。

原创 java awt实现拖拉式文件路径获取

java awt 拖拉式文件路径获取

转载 SparkSession

123

原创 92 反转链表 笔记

题目给你单链表的头指针head和两个整数left和right，其中left <= right。请你反转从位置left到位置right的链表节点，返回反转后的链表。示例 1：输入：head = [1,2,3,4,5], left = 2, right = 4输出：[1,4,3,2,5]示例 2：输入：head = [5], left = 1, right = 1 输出：[5]提示：链表中节点数目为n 1 <= n <= 5...

原创 prometheus安装以及错误汇总

1、msg="Failed to create directory for logging active queries"解决：对运行目录 chmod 777 XXX 增加权限，然后重新运行即可其余异常参考：我在B站学运维之Prometheus监控所遇问题解决总结(11) - 哔哩哔哩

原创 npm运行命令时抛错

sudo npm uninstall npm -ginternal/modules/cjs/loader.js:1032 throw err; ^Error: Cannot find module 'semver'Require stack:- /Users/XXXX/tenv/node/v14.4.0/lib/node_modules/npm/lib/utils/unsupported.js- /Users/XXXX/tenv/node/v14.4.0/lib/node_modul.

转载 Flink的双亲委派机制

我们知道，在 JVM 中，一个类加载的过程大致分为加载、链接(验证、准备、解析)、初始化5个阶段。而我们通常提到类的加载，就是指利用类加载器(ClassLoader)通过类的全限定名来获取定义此类的二进制字节码流，进而构造出类的定义。Flink 作为基于 JVM 的框架，在 flink-conf.yaml 中提供了控制类加载策略的参数 classloader.resolve-order，可选项有 child-first(默认)和 parent-first。本文来简单分析一下这个参数背后的含义。pa

原创 Protobuf 语言指南

以一个简单例子对pb进行展开讲解syntax = "proto3"; package rpc.rpcclient.rpccall;option java_package="com.ppp.mpj";option java_multiple_files = false; option java_outer_classname = "MpjBean"; // 建议使用谷歌protobuf规范 遵循PB语法检查 // 谷歌protobuf规范地址：https://develop

转载 海量Top K问题

　1、海量日志数据，提取出某日访问百度次数最多的那个IP。　　此题，在我之前的一篇文章算法里头有所提到，当时给出的方案是：IP的数目还是有限的，最多2^32个，所以可以考虑使用hash将ip直接存入内存，然后进行统计。　　再详细介绍下此方案：首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个 IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率

转载 二进制协议和文本协议的区别

各位小伙伴们 我一开始不能区分二进制协议和文本协议的区别，是因为我想电脑在传输的过程中，应该传输的就是二进制的数据啊，那文本协议是要传输abcd这类的字符吗？是我理解错了：其实无论是文本协议还是二进制协议，数据从a电脑传到b电脑的过程，传输的数据都是二进制的也就是0和1，那什么是文本协议什么是二进制协议呢比如我们现在向服务端发送一条消息，内容是个人介绍：Name="xxl"，Age=22，Des="贼帅贼帅的"1.二进制协议的做法是：客户端 告诉 服务端 定制的协议的结构：比如客户端说 我给你发上去

原创 Malformed \uxxxx encoding while mvn install

只想说一句，XXXX一大抄，耽误事啊，本来很好解决的问题，愣是搞复杂了当maven引入时发生失败或者报错Malformed \uxxxx encoding时，下面有两种最直接的方式：（1）通过下面grep查找出对应的文件删除grep -rnw ~/.m2 -e '\u0000'（2）删除你的本地maven仓库，重新导入本人两种方法都实践过，均可，文件中出现编码问题暂未找到原因，方法来源自macos - java.lang.IllegalArgumentException: Mal..

原创 Spark stop时抛出异常

在集群运行spark任务时，发现spark在stop时抛出了一个异常，具体异常如下：21/10/24 19:56:51 ERROR TransportRequestHandler: Error while invoking RpcHandler#receive() for one-way message.org.apache.spark.SparkException: Could not find CoarseGrainedScheduler. at org.apache.spark.rpc..

转载 PPT-表格 配色

好看的图表离不开配色，好看的PPT离不开配色，好看的大屏可视化分析更离不开配色。博主平时也要做一些数据可视化分析的大屏，一般都需要对背景、图表、数据列表等区域进行配色，根据美工那边的配色推荐，博主整理了一下平时做图表、数据可视化分析大屏时会用到的配色方案，希望对他们平时做大屏展示或者做PPT时有帮助，方便大家日后的大屏开发和PPT效果，让大家辛苦做出来的作品，更加直观好看、效果舒服、得到更高的加分值。（配上各个图表配色方案的十六进制颜色码和RGB颜色值）​​《取色技巧》平时大家都会登...

原创 Linux（centos）-防火墙系列

在进行TCP和UDP传输实验中，发现有数据无法正常发送到服务器节点上，经过检查发现是因为防火墙关闭了端口，那么下面对防火墙的一些基本操作做一下总结，以备后用命令集合：（1）查看对外开放的端口状态查询已开放的端口 netstat -anp查询指定端口是否已开 firewall-cmd --query-port=666/tcp提示 yes，表示开启；no表示未开启。（2）查看防火墙状态查看防火墙状态 systemctl status firewalld开启防火墙 systemc

原创 java如何优雅的实现多线程交替打印？

前几天有人问我交替打印如何实现，在面试过程中出现的大部分都是两个线程交替打印1-100内的数字，那么有没有一个通用的模板，适用于多个线程以及打印任意范围的数呢，今天发一下我写的模板，大家有什么建议可以回复，我再进行修改。package com.java.alibaba.yimian;import java.util.concurrent.atomic.AtomicInteger;import java.util.concurrent.locks.Condition;import java.ut

原创 java.io.IOException: Cannot run program “python3“: CreateProcess error=2, 系统找不到指定的文件。

今天在用java调用python进行执行时发现了一个错误，也就是下面这个错误。java.io.IOException: Cannot run program "python3": CreateProcess error=2, 系统找不到指定的文件。程序是这样的 Process proc; String line = null; try { // 执行py文件 proc = Runtime.getRun

原创 并发写java hashmap时效率以及报错问题（非jdk1.7 1.8比较问题）

最近在做一个比赛的时候用到了hashmap，需要多个线程对其进行操作，当然，大家都知道他是一个线性无关的。测试时，每个线程大约读取10w的数据量对hashmap进行put操作，来测试比单线程效率高多少，但是出现了一个很奇怪的现象，程序在linux系统中一直无法正常结束，一直卡在那里，并且偶尔报下面截图中的错误。字面意思，就是在超过limit时，node转treenode时报错，现在暂时没有去深究这个原因，所以先做个比较mark一下，过几天探究一下。...

原创 如何查看java源码

在eclipse上，有时想看现有工程用到的第三方jar的源码时，ctrl+鼠标查看时总是出现“source not found”，很痛苦。我们接下来很简单的就将这个问题。（1）首先，假如我们的项目是普通java项目，我们为了方便，可以将其先转为maven项目，转换的过程是这样的（环境为esclipse）：当然，假如已经是maven环境了那就不用转了。（2）在eclipse上“Window”-->“Preferences”-->"Maven"上，勾选“Download Artifa

原创 Java 多线程中两个线程交替执行输出奇偶数的三种实现方法

初次总结，有欠缺的地方还请大佬指正方法一：synchronized wait notify//synchronized wait notifypublic class alternateOutWay1 { public static void main(String[] args) { alternateOutWay1Class cu = new alternateOutW...

原创 Thread中的isInterrupted()与interrupted()

惯例，先看源码中是如何定义的：两个方法是在Thread.class中定义的，其中private native boolean isInterrupted(boolean ClearInterrupted); public boolean isInterrupted() { return isInterrupted(false); } public ...

原创 java后台面试笔记（勿进，个人记录用）

https://www.jianshu.com/p/1acdfac2b4e4https://www.jianshu.com/p/d52fea0d6ba5https://www.codercc.com/categories/backend/

转载 TCP/IP协议族中的各种协议介绍

应用层：TFTP，HTTP，SNMP，FTP，SMTP，DNS，Telnet 等等 传输层：TCP，UDP 网络层：IP，ICMP，OSPF，EIGRP，IGMP 数据链路层：SLIP，CSLIP，PPP，MTU重要的 TCP/IP 协议族协议进行简单介绍:IP(Internet Protocol,网际协议)是网间层的主要协议,任务是在源地址和和目的地址之间传输数据。IP 协议只是尽最...

原创 Eclipse安装svn插件三种方式

本人使用第一种方式安装成功，第二种安装的时候没有成功，第三种没有尝试，所以推荐第一种安装方式1.在线安装：(1).点击Help-->Install New Software...(2).在弹出的窗口中点击add按钮，输入Name(任意)和Location(插件的URL)，点击OK地址分别是：http://subclipse.tigris.org/update...

转载 信道容量和吞吐量、链路和信道概念

在无线通信中几个概念经常搞不清，今天记录一下以便后面复习：（1）吞吐量吞吐量是指某个系统在单位时间内实际传输的信息比特数（数据量），常用的单位有bps，Kbps，Mbps等单位。如果引入了某种编码方案，那么在计算吞吐量的时候，一定要把冗余比特（如校验位）除去。另外，吞吐量更侧重于系统整体层面，例如某个ATM机在某一时间段内的吞吐量。吞吐量考量的主要对象是传输技术（如接入方式，复用方式；双工...

原创 Linux内核高端内存（只放了链接）

Linux内核高端内存很详细的讲解

转载 ReentrantLock相关知识图

转载 Navicat 将mysql、oracle表导出为数据字典

SELECT column_name, column_type, is_nullable, COLUMN_DEFAULT, column_commentFROM information_schema.COLUMNSWHERE table_schema = 'think-water-dma-klmy' AND table_na...

转载 一张图读懂非公平锁与公平锁

来自灵魂画手徐志毅 大佬在Java并发编程中，公平锁与非公平锁是很常见的概念，ReentrantLock、ReadWriteLock默认都是非公平模式，非公平锁的效率为何高于公平锁呢？究竟公平与非公平有何区别呢？首先先简单从名字上来理解，公平锁就是保障了多线程下各线程获取锁的顺序，先到的线程优先获取锁，而非公平锁则无法提供这个保障。看到网上很多说法说非公平锁获取锁时各线程的的概率是随机的...