薛小布-CSDN博客

原创 kubebuilder和code-generator使用

新建apis/serving/v1/register.go，code generator生成的代码需要用到它。新增 k8s.io/code-generator，需和 k8s.io/client-go版本一致。参考：https://www.jianshu.com/p/78652aac89f4。// --skip-go-version-check 跳过Go版本校验。添加文件apis/serving/v1/rbac.go。新建apis/serving/v1/doc.go。// +groupName更换成自己的。

2024-01-16 18:01:38 420

原创 Idea代码格式规范

Idea代码格式规范eclipse-code-formattersave-action-plugin安装完成后eclipse-code-formattereclipse-code-formatter下载地址save-action-plugin安装完成后

2021-11-03 21:33:59 725

原创 kafka--topic创建的两种方式

创建topic的两种方式：方法一：bin/kafka-topics.sh --create --topic topicname --replication-factor 1 --partitions 1 --zookeeper localhost:2181-topic 指定topic-partitions指定分区数kafka通过分区策略，将不同的分区分配在一个集群中的broker上，一般会分散在不同的broker上，当只有一个broker时，所有的分区就只能分配到该broker上。消

2020-06-16 18:26:25 2740

原创 HBase开启snappy压缩

HBase开启snappy压缩：1、创建表的时候声明snappy压缩hbase(main):014:0> create 'demo:demo2',{NAME=>'abc',COMPRESSION=>'SNAPPY'}0 row(s) in 1.3590 seconds=> Hbase::Table - demo:demo2hbase(main):015:0> desc 'demo:demo2'Table demo:demo2 is ENABLED

2020-06-16 18:24:40 381

原创 Topology运行流程及方法调用流程

Topology运行流程1）提交Topology后，Storm会把代码先存放到Nimbus节点的inbox目录下；之后，把当前Storm运行的配置生成一个stormconf.ser文件放到NImbus节点的stormdist目录中，此目录中同时还有序列化之后的Topology代码文件。2）在设定Topology关联的Spout和bolt时，可以同时设置当前的spout和bolt的Executor的总和一致。之后，系统根据Worker的数量，尽量将这些Task平均分配到不同的Worker上执行。Wor

2020-06-15 11:27:51 1245

原创 kafka常用命令--太常用了

1、topic列表[root@t1-25-19 bin]# ./kafka-topics.sh --list --zookeeper localhost:2181/kfk_mq__consumer_offsetsbd_frscrs_events2、创建topic[root@t1-25-19 bin]# ./kafka-topics.sh --create --zookeeper localhost:2181/kfk_mq --replication-factor 3 --partiti

2020-06-12 14:29:16 193

原创 HBase shell常用命令工具----指南

#########一定要注意大小写，以前那篇是用word编辑拷贝的，所以好多错误，现在重新搞了一版，亲测。。。。。可以当工具使用################################################ 注意大小写################################################1、打开hbase shell，使用help命令查看使用规则[root@t1-25-1...

2020-06-11 15:08:38 338

原创统计近n天不重复的数据信息（优化版）

统计近n天不重复的数据：HBase表结构设计：A表存储所有的数据信息，记录数据最新的时间；B表记录近n天的案件进件数；例如：案件x的进件时间分别为5/1、5/2、5/4进件号进件时间x5/1x5/2x5/4表A、B的记录变化如下1、2、3、4列表示当日与其相差n天的重复案件数下面演示进件后表A、B的变化5/1 日进件后表记录如下：表A：进件号进件时间x5/1表B：进件号进件时间当日进件总数12

2020-06-07 17:37:03 175

原创 JVM垃圾收集器及类加载

1、收集器新生代：Serial、ParNew、Parallel Scavenge老年代：Serial Old、Parallel Old、CMS整堆回收：G1新生代一般采用复制算法，效率高，空间利用率低；老年代使用标记-整理算法，其中CMS使用标记-清除算法CMS是以牺牲吞吐量为代价来获得最短回收停顿时间的垃圾回收器。使用于对服务器响应速度非常高的应用上。使用方法“-XX:+UseConcMarkSweepGC”2、分代垃圾回收器的工作原理分代回收器有两个分区：老年代和新生代，新生代默认占空

2020-06-02 20:16:23 114

原创 HBase架构实现

1、存储不同的排序、搜索算法在性能上差别可以非常大，从O(n^2)到O(log2N)甚至O(1)。同样不能的存储模型和索引结构对数据库的读写性能影响很大。HBase通过LSM存储模型提高写性能的同时又能保证读性能。B+树比B树更适合做数据库系统索引。尤其是对于HBase这类常用区间扫描的数据库，因为B+树只需要遍历所有叶子节点即可实现区间扫描，B+树的最大性能问题就是插入，随着越来越多的数据插入，叶子节点会慢慢分裂，逻辑上会存储到磁盘的不痛快，做区间扫描产生大量随机读IO，同时数据写入时维护树的分裂、

2020-06-02 14:58:39 173

原创 idea 配置文件输入提示

##idea 配置文件输入提示安装插件 spring Assistant

2020-06-01 17:51:37 1017

原创内存泄露问题排查

一、内存溢出和内存泄露 a) 内存溢出：内存溢出是在内存一定的情况下，系统申请内存大于预设定内存；可以通过调整最大内存改善这种问题 b) 内存泄露：是由于系统bug导致创建的对象无法正常回收，这种智能通过修改代码来处理这种问题二、排查案例a) 查找进程ID格式：jps [options] [hostId]jps -lps -aux | grep xxx三、利用虚拟机统计信息监视工具：jstat 监视虚拟机各种运行状态。格式：jstat命令格式jstat [ option

2020-05-29 17:51:08 459

原创 Redis线程模型

Redis是基于Reactor模式开发了网络事件处理器，这个处理器被称为文件事件处理器。它的组成结构为四部分：多个套接字、IO多路复用程序、文件事件分派器、时间处理器。因为文件事件分派器队列的消费是单线程的，所以redis才叫单线程模型。文件事件处理器使用IO多路复用程序来同时监听多个套接字，并根据套接字目前执行的任务来为套接字关联不同的事件处理器。当被监听的套接字准备好执行连接应答、读取、写入、关闭等操作时，与操作相对应的文件事件就会产生，这是文件事件处理器就会调用套接字之前关联好的事件处理...

2020-05-27 15:16:59 120

薛小布的博客