- 博客(52)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 流处理-flink笔记
从Lambda架构到Kappa架构再到？浅谈未来数仓架构设计~https://developer.aliyun.com/article/752406
2021-11-24 12:05:32
2259
原创 ClickHouse 表引擎概述
Overview1.ClickHouse 引擎 1.6.ReplacingMergeTree 1.7.SummingMergeTree 1.8.AggregatingMergeTree 1.9.CollapsingMergeTree 1.10.GraphiteMergeTree 1.11.Data replication 1.12.BufferClickHouse 表引擎概述ClickHouse 引擎Clickhouse 存储引擎的类型决定了数据检索、备份、被...
2021-06-24 20:56:41
399
原创 LinkedHashMap原理
https://www.jianshu.com/p/8f4f58b4b8abLinkedHashMap是继承于HashMap，是基于HashMap和双向链表来实现的。HashMap无序；LinkedHashMap有序，可分为插入顺序和访问顺序两种。默认插入顺序。如果是访问顺序，那put和get操作已存在的Entry时，都会把Entry移动到双向链表的表尾(其实是先删除再插入)。LinkedHashMap存取数据，还是跟HashMap一样使用的Entry[]的方式，双向链表只是为了保证顺序。
2021-03-01 20:39:51
126
原创 javaweb热部署-JRebel和devtools
JRebel和devtools的区别如果不是JRebel收费了，绝对是所有程序员的首选。但还是要说说他们之间的区别，如下：JRebel加载的速度优于devtools JRebel不仅仅局限于Spring Boot项目，可以用在任何的Java项目中。 devtools 方式的热部署在功能上有限制，方法内的修改可以实现热部署，但新增的方法或者修改方法参数之后热部署是不生效的。...
2020-12-24 19:07:22
477
1
原创 mapreduce原理
Q1: reduce的方式是将一个类型的key，送给同一个节点。比如说，把good都送给第一个节点。till送给第二个节点。那么如果做到这一点呢？答：使用hash表的方式，一个key，放在hash表里面，就会产生一个为一个code（java 里面的数据结构是 hashcode）， 然后再给它取余数。比如机器有四个节点，做reduce，那么就取余4，这样计算的任务就分给四台机器。这个就是shuffl机制。（shuffl就是洗牌的意思）（这个算法其实就是哈希取模的算法）Q2: m...
2020-12-23 18:05:10
114
原创 msyql常用查询
SELECT table_schema, table_name FROM information_schema.TABLES WHERE ( table_schema, table_name ) NOT IN ( SELECT DISTINCT table_schema, table_name FROM information_schema.COLUMNS WHERE COLUMN_KEY = 'PRI' ) AND table_schema IN ( '数据.
2020-12-18 12:24:12
110
原创 pig和hive的区别
Pig查询例子：Sql语句：select deptno,max(sal) from emp group by deptno;Pig Latin语句：emp1 = group emp by deptno;emp2 = foreach emp1 generate group,MAX(emp.sal)dump emp2; Pig赋予开发人员更多的灵活性，并允许开发简洁的脚本用于转换数据流，以便嵌入到较大的应用程序。Pig相比Hive相对轻量，它主要的优势：相比于直接使用Hadoop Java
2020-09-18 17:19:56
367
原创 HIVE批量更新表信息
ALTER TABLE 表名 REPLACE COLUMNS( -- 更新后的表信息 `id` bigint COMMENT '自增主键', `cid` string COMMENT '创建人（初始化数据值为初始化）', `ctime` string COMMENT '创建时间', `uid` .
2020-07-03 19:06:02
1674
原创 Java8日期相关使用
//年第一天，yyyy-01-01String yearFirstDate = periodEndLocalDate.withDayOfYear(1).format(DAY_DATE_TIME_FORMATTER);//月第一天 yyyy-MM-01String monthFirstDate = periodEndLocalDate.withDayOfMonth(1).format(DAY_DATE_TIME_FORMATTER);LocalDate yesterday = LocalDat.
2020-06-13 11:53:43
139
原创 YARN基本框架介绍&Mapreduce的内存参数理解
YARN是一个资源管理、任务调度的框架，主要包含三大模块：ResourceManager（RM）：负责所有资源的监控、分配和管理 NodeManager（NM）：负责每一个节点的维护 ApplicationMaster（AM）：负责每一个具体应用程序的调度和协调对于所有的applications，RM拥有绝对的控制权和对资源的分配权。每个AM会和RM协商资源，同时和NodeMana...
2019-12-08 15:59:56
259
原创 查看端口是否开启
1、telnet 110.101.101.101 802、nmap ip -p port 测试端口3、nc -v host port
2019-09-30 17:52:30
2103
原创 lombok插件
EqualsAndHashCode问题 @Data相当于@Getter @Setter @RequiredArgsConstructor @ToString @EqualsAndHashCode这5个注解的合集。 当使用@Data注解时，则有了@EqualsAndHashCode注解，那么就会在此类中存在equals(Object other) 和 hashCode()方法，且不会使用父...
2019-08-07 18:29:38
110
原创 算法--求两个字符串的最长公共子序列（LCS问题）
参考：https://blog.csdn.net/uestclr/article/details/50760563问题描述给定两个字符串，求解这两个字符串的最长公共子序列（Longest Common Sequence）。比如字符串1：BDCABA；字符串2：ABCBDAB则这两个字符串的最长公共子序列长度为4，最长公共子序列是：BCBA我的实现动态规划：dp[i+1][j...
2019-06-21 08:24:33
672
原创 排序算法--选择排序--堆排序
https://blog.csdn.net/u010452388/article/details/81283998基本思想：1.首先将待排序的数组构造成一个大根堆，此时，整个数组的最大值就是堆结构的顶端2.将顶端的数与末尾的数交换，此时，末尾的数为最大值，剩余待排序数组个数为n-13.将剩余的n-1个数再构造成大根堆，再将顶端数与n-1位置的数交换，如此反复执行，便能得到有序数组...
2019-06-20 21:52:59
320
原创 排序算法--选择排序--简单选择排序
https://blog.csdn.net/justloveyou_/article/details/72730597public class SortSimpleSelection { @Test public void test() { int[] a = {5, 7, 21, 2, 8, 31, 17, 3, 22, 15, 9, 6}; ...
2019-06-20 21:52:52
302
原创 排序算法--插入排序--直接插入排序
https://blog.csdn.net/justloveyou_/article/details/72730597直接插入排序的思想：当插入第i(i>=1)个元素时，前面的V[0],…,V[i-1]等i-1个 元素已经有序。这时，将第i个元素与前i-1个元素V[i-1]，…，V[0]依次比较，找到插入位置即将V[i]插入，同时原来位置上的元素向后顺移。在这里，插入位置的查...
2019-06-20 21:52:40
294
原创 LinkLists 两个链表相加
你有两个由单链表表示的数。每个结点代表其中的一位数字。数字的存储是逆序的， 也就是说个位位于链表的表头。写一函数使这两个数相加并返回结果，结果也由链表表示。例子：(3 -> 1 -> 5), (5 -> 9 -> 2)输入：8 -> 0 -> 8解法：链表倒置，相加进位，再倒置。LinkedList支持方法import com.go...
2019-06-20 21:52:26
386
原创 排序算法--插入排序--希尔排序
https://blog.csdn.net/justloveyou_/article/details/72730597public class SortHill { @Test public void test() { int[] a = {5, 7, 21, 2, 8, 31, 17, 3, 22, 15, 9, 6}; for (int...
2019-06-20 21:52:12
342
原创 算法--最长升序子序列
参考：https://blog.csdn.net/uestclr/article/details/50760563问题描述给定数组arr，返回arr的最长递增子序列的长度，比如arr=[2,1,5,3,6,4,8,9,7]，最长递增子序列为[1,3,4,8,9]返回其长度为5.实现动态规划表，dp[i]表示以arr[i]结尾的最长升序子序列的长度 动态规划表，dpStr[i]表...
2019-06-20 21:52:04
499
原创 算法--背包问题
参考：https://blog.csdn.net/uestclr/article/details/50760563问题描述背包问题，动态规划经典问题，一个背包有滴定的承重W，有N件物品，每件物品都有自己的价值，记录在数组V中，也都有自己的重量，记录在数组W中，每件物品只能选择要装入还是不装入背包，要求在不超过背包承重的前提下，选出的物品总价值最大。关键逻辑假设物品编号从1到n，一件...
2019-06-20 21:51:58
307
原创 二叉树: 根据二叉树的前序数组和中序序遍历数组生成二叉树
https://www.cnblogs.com/googlemeoften/p/5853280.html题目：给定二叉树的前序遍历和中序遍历，生成二叉树。Example:前序遍历数组：preArr[]:{1，2，4，5，3，6，7}中序遍历数组：inArr[]：{4，2，5，1，6，3，7}生成的二叉树如下图：解题思路：由二叉树的前序变量性质可知：preArr[0]...
2019-06-20 21:51:46
252
原创 求n边形周长的k等分点坐标（今日头条）
题目本题来自今天头条的笔试：有一个n边形(P0, P1, ..., Pn)， 每一条边皆为垂直或水平线段。现给定数值k，以P0为起点将n边形的周长分为k段，每段的长度相等，请打印出k等分点的坐标(T0, T1, ..., Tk）的坐标。分析1、可以计算出从第0个点，到第N个点的总距离，作为该点的一个属性保存。2、那么第0个点的总距离即为该多版型周长3、求出等分后每一段的长度d...
2019-06-20 21:51:34
1280
1
原创 亚马逊算法题--数组有N+M个数字, 数字的范围为1 ... N, 打印重复的元素, 要求O(M + N), 不可以用额外的空间
数组有N+M个数字,数字的范围为1 ... N,打印重复的元素,要求O(M + N),不可以用额外的空间。算法思想：是对数组的前N-1个元素进行标记，在标记过程中如果发现此位置已被标记，那么说明此时的元素值是重复的，于是打印出来public class TestDuplicateElement { @Test public void test() {...
2019-06-20 21:51:24
342
转载 数组全排列---递归方法实现（java）
https://blog.csdn.net/jiao_yu/article/details/52493600组数p = {r1, r2, r3, ... ,rn}, 全排列为perm(p)pn = p - {rn}，数组p去掉第ri个元素，剩下的数组因此perm(p) = { r1 perm(p1),r2 perm(p2),... ,rn perm(pn)}其中：当n ...
2019-06-20 21:50:49
2569
原创 算法题--计算球迷群体个数&最大球迷群体人数
import org.apache.commons.lang3.StringUtils;import java.util.Scanner;public class TestFansGroup { private static int rowLength; private static int colLength; //球迷二维数组，值为0或1或-1；0代表没球...
2019-06-20 21:50:35
287
原创 动态规划算法--字符串转换最小代价问题
题目描述给定两个字符串str1和str2，再给定三个整数ic，dc，rc，分别代表插入、删除、替换一个字符的代价，返回将str1编辑成str2的最小代价。举例：str1="abc" str2="adc" ic=5 dc=3 rc=2，从"abc"编辑到"adc"把b替换成d代价最小，为2；str1="abc" str2="adc" ic=5 dc=3 rc...
2019-06-20 21:49:55
1421
原创 电商名词解释
SPU = Standard Product Unit （标准化产品单元），SPU是商品信息聚合的最小单位，是一组可复用、易检索的标准化信息的集合，该集合描述了一个产品的特性。通俗点讲，属性值、特性相同的商品就可以称为一个SPU。例如，iphone4就是一个SPU，N97也是一个SPU，这个与商家无关，与颜色、款式、套餐也无关。 SKU=stock keeping unit(库存量单位)，S...
2019-06-18 17:16:03
3437
原创 Runnable, Callable, Future, Task, FutureTask总结
对象 用法 Runnable 没返回值 Callable 有返回值 Task extends Runnable 只有俩方法，run和cancel，都没返回值。 Future Executor是Runnable和Callable...
2019-03-01 17:10:43
431
原创 HIVE用法及原理
一、抽样查询（表支持，视图不支持抽样）https://www.jianshu.com/p/c6ca99e26657 tablesample函数 数据块抽样 ：percent 大小 行数 分桶表取样： tablesample（bucket xout of y on 列名或rand()），分成y份，取第x份 二、hive中order by,sort by,...
2019-02-27 15:34:24
149
原创 牛逼！！牛逼！！牛逼！！SonarLint-代码检查插件
SonarLint-3.5.0.2729.zip23.04MB很多bug和编码陋习 都能通过该插件轻松避免
2019-02-12 19:27:30
4410
原创 HashMap文章汇总
https://tech.meituan.com/java_hashmap.htmlLinkedHashMap：http://www.cnblogs.com/xiaoxi/p/6170590.html。LInkedHashMap的构造函数accessOrder为true时，会把最新访问的元素从双向队列中删除，插入到双向队列最后...
2019-01-05 08:19:55
111
原创 LinkedList学习
LinkedList实现了Deque和list接口Queue接口 抛异常 返回特殊值 增 add offer（false） 删 remove poll（null） 查 element peek（null） Deque接口：新增了两个针对first元素的操作方法：push（等于addFirst） 和pop（等于removeF...
2019-01-04 22:49:40
183
1
原创 Raft算法之成员变更
参考：https://cloud.tencent.com/developer/news/82389成员变更是跟leader选举、日志同步、安全、日志压缩一样，都是Raft算法的核心概念。但成员变更是最难理解的。所以单列一篇总结。问：常规处理成员变更有什么问题？答：会出现双leader问题。成员变更是在集群运行过程中副本发生变化，如增加/减少副本数、节点替换等。成员变更也是一个分...
2018-12-28 18:28:00
1528
原创 Raft算法
https://zhuanlan.zhihu.com/p/32052223https://cloud.tencent.com/developer/news/221746Raft动画演示：http://thesecretlivesofdata.com/raft/关键字：AppendEntries RPC：（term_index_command）+上一条目(term_index...
2018-12-26 20:15:05
602
原创 NEWSQL-TIDB
解决了什么问题？为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 场景提供一站式的解决方案开源分布式 HTAP (Hybrid Transactional and Analytical Processing) 数据库RMDB 事务问题,OLTP NOSQL ...
2018-12-24 19:10:28
694
原创 System.nanoTime与System.currentTimeMillis
System.currentTimeMillis System.nanoTime 定义 系统当前时间和1970-01-01之前间隔时间的毫秒数 它基于的时间点是随机的，可能为负数 精确度 精确度低，毫秒 精确度高，纳秒 转Date 可以 不可以 用途 时钟 1、计时器（对于同一个JVM里，不同地方使用到的基点时...
2018-12-11 17:42:13
332
原创 GC优化
https://tech.meituan.com/jvm_optimize.html1、问题：Minor GC太过频繁方案：新生代太小，扩容之2、对象年龄作为新生代晋升到老年代的标准，是动态变化的Hotspot遍历所有对象时，按照年龄从小到大对其所占用的大小进行累积，当累积的某个年龄大小超过了survivor区的一半时，取这个年龄和MaxTenuringThreshold中更小...
2018-11-30 17:09:46
313
原创 ThreadLocal原理
1、Thread类绑定ThreadLocalMap变量 ThreadLocal.ThreadLocalMap threadLocals = null;2、ThreadLocalMap 中的entry：key为ThreadLocal类型的软引用对象3、jvm内存不足时，会gc掉key，导致value内存泄漏4、ThreadLocalMap结构与HashMap区别相同属性：I...
2018-11-28 11:57:46
180
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人