Kafka进阶篇知识点
Kafka高级篇知识点
44个Kafka知识点(基础+进阶+高级)解析如下
由于篇幅有限,小编已将上面介绍的**《Kafka源码解析与实战》、Kafka面试专题解析、复习学习必备44个Kafka知识点(基础+进阶+高级)都整理成册,全部都是PDF文档**
适用场景:
-
数据量不大(千以内)
-
空间比时间重要
-
需要使用
Map
,且key
为int
类型。
示例代码:
SparseArray stringSparseArray = new SparseArray<>();
stringSparseArray.put(1,“a”);
stringSparseArray.put(5,“e”);
stringSparseArray.put(4,“d”);
stringSparseArray.put(10,“h”);
stringSparseArray.put(2,null);
Log.d(TAG, “onCreate() called with: stringSparseArray = [” + stringSparseArray + “]”);
输出:
//可以看出是按照key排序的
onCreate() called with: stringSparseArray = [{1=a, 2=null, 4=d, 5=e, 10=h}]
3 构造函数
//用于标记value数组,作为已经删除的标记
private static final Object DELETED = new Object();
//是否需要GC
private boolean mGarbage = false;
//存储key 的数组
private int[] mKeys;
//存储value 的数组
private Object[] mValues;
//集合大小
private int mSize;
//默认构造函数,初始化容量为10
public SparseArray() {
this(10);
}
//指定初始容量
public SparseArray(int initialCapacity) {
//初始容量为0的话,就赋值两个轻量级的引用
if (initialCapacity == 0) {
mKeys = EmptyArray.INT;
mValues = EmptyArray.OBJECT;
} else {
//初始化对应长度的数组
mValues = ArrayUtils.newUnpaddedObjectArray(initialCapacity);
mKeys = new int[mValues.length];
}
//集合大小为0
mSize = 0;
}
构造函数 无亮点,路过。
关注一下几个变量:
* 底层数据结构为int[]
和Object[]
类型数组。
* mGarbage
: 是否需要GC
* DELETED
: 用于标记value数组,作为已经删除的标记
4 增 、改
4.1 单个增、改:
public void put(int key, E value) {
//利用二分查找,找到 待插入key 的 下标index
int i = ContainerHelpers.binarySearch(mKeys, mSize, key);
//如果返回的index是正数,说明之前这个key存在,直接覆盖value即可
if (i >= 0) {
mValues[i] = value;
} else {
//若返回的index是负数,说明 key不存在.
//先对返回的i取反,得到应该插入的位置i
i = ~i;
//如果i没有越界,且对应位置是已删除的标记,则复用这个空间
if (i < mSize && mValues[i] == DELETED) {
//赋值后,返回
mKeys[i] = key;
mValues[i] = value;
return;
}
//如果需要GC,且需要扩容
if (mGarbage && mSize >= mKeys.length) {
//先触发GC
gc();
//gc后,下标i可能发生变化,所以再次用二分查找找到应该插入的位置i
// Search again because indices may have changed.
i = ~ContainerHelpers.binarySearch(mKeys, mSize, key);
}
//插入key(可能需要扩容)
mKeys = GrowingArrayUtils.insert(mKeys, mSize, i, key);
//插入value(可能需要扩容)
mValues = GrowingArrayUtils.insert(mValues, mSize, i, value);
//集合大小递增
mSize++;
}
}
//二分查找 基础知识不再详解
static int binarySearch(int[] array, int size, int value) {
int lo = 0;
int hi = size - 1;
while (lo <= hi) {
//关注一下高效位运算
final int mid = (lo + hi) >>> 1;
final int midVal = array[mid];
if (midVal < value) {
lo = mid + 1;
} else if (midVal > value) {
hi = mid - 1;
} else {
return mid; // value found
}
}
//若没找到,则lo是value应该插入的位置,是一个正数。对这个正数去反,返回负数回去
return ~lo; // value not present
}
//垃圾回收函数,压缩数组
private void gc() {
//保存GC前的集合大小
int n = mSize;
//既是下标index,又是GC后的集合大小
int o = 0;
int[] keys = mKeys;
Object[] values = mValues;
//遍历values集合,以下算法 意义为 从values数组中,删除所有值为DELETED的元素
for (int i = 0; i < n; i++) {
Object val = values[i];
//如果当前value 没有被标记为已删除
if (val != DELETED) {
//压缩keys、values数组
if (i != o) {
keys[o] = keys[i];
values[o] = val;
//并将当前元素置空,防止内存泄漏
values[i] = null;
}
//递增o
o++;
}
}
//修改 标识,不需要GC
mGarbage = false;
//更新集合大小
mSize = o;
}
GrowingArrayUtils.insert:
//
public static int[] insert(int[] array, int currentSize, int index, int element) {
//断言 确认 当前集合长度 小于等于 array数组长度
assert currentSize <= array.length;
//如果不需要扩容
if (currentSize + 1 <= array.length) {
//将array数组内元素,从index开始 后移一位
System.arraycopy(array, index, array, index + 1, currentSize - index);
//在index处赋值
array[index] = element;
//返回
return array;
}
//需要扩容
//构建新的数组
int[] newArray = new int[growSize(currentSize)];
//将原数组中index之前的数据复制到新数组中
System.arraycopy(array, 0, newArray, 0, index);
//在index处赋值
newArray[index] = element;
//将原数组中index及其之后的数据赋值到新数组中
System.arraycopy(array, index, newArray, index + 1, array.length - index);
//返回
return newArray;
}
//根据现在的size 返回合适的扩容后的容量
public static int growSize(int currentSize) {
//如果当前size 小于等于4,则返回8, 否则返回当前size的两倍
return currentSize <= 4 ? 8 : currentSize * 2;
}
- 二分查找,若未找到返回下标时,与JDK里的实现不同,JDK是返回
return -(low + 1); // key not found.
,而这里是对 低位去反 返回。
这样在函数调用处,根据返回值的正负,可以判断是否找到index。对负index取反,即可得到应该插入的位置。
-
扩容时,当前容量小于等于4,则扩容后容量为8.否则为当前容量的两倍。和
ArrayList,ArrayMap
不同(扩容一半),和Vector
相同(扩容一倍)。 -
扩容操作依然是用数组的复制、覆盖完成。类似
ArrayList
.
5 删
5.1 按照key删除
//按照key删除
public void remove(int key) {
delete(key);
}
public void delete(int key) {
//二分查找得到要删除的key所在index
int i = ContainerHelpers.binarySearch(mKeys, mSize, key);
//如果>=0,表示存在
if (i >= 0) {
//修改values数组对应位置为已删除的标志DELETED
if (mValues[i] != DELETED) {
mValues[i] = DELETED;
//并修改 mGarbage ,表示稍后需要GC
mGarbage = true;
}
}
}
5.2 按照index删除
最后
由于篇幅限制,小编在此截出几张知识讲解的图解
照index删除
最后
由于篇幅限制,小编在此截出几张知识讲解的图解
[外链图片转存中…(img-PtakveTd-1715619165050)]
[外链图片转存中…(img-F0vSwQJN-1715619165051)]
[外链图片转存中…(img-4uPZJQ5O-1715619165051)]
[外链图片转存中…(img-kjQGbBu9-1715619165052)]
[外链图片转存中…(img-s3UiQjCQ-1715619165052)]