mapeng765441650的博客

mat分析线上heap dump文件1. 发现问题(1) 某次线上服务3台机器全部宕机，查看日志及监控发现，oom异常(2) 赶紧登录服务器，做了一次线上heap dump 操作，保留快照文件，以便后续分析问题 ① 进入docker容器，docker exec -it xxxx sh ② 执行jps，查看服务进程 jps, ③ 开始做dump文件： jmap -dump:format=b,file=heap.2021-12-28.hprof <pid> ④ 至此，线上快照完毕，

topic分区数据转移往往在生产系统中，涉及到kafka broker的扩容和缩容操作（减少broker）针对缩容操作，这里主要用到的就是partition的重分区实施方案1.准备 topic列表 （需要移除的topic list）eg: topics_to_move.json{"topics": [{"topic":"dw-topic1"},{"topic":"dw-topic2"}], "version": 1}kafka bin目录下，执行sh kafka-reassign-

目录：kafka-exporter 安装1.kafka-exporter安装 #wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz# tar -zxvf kafka_exporter-1.2.0.linux-amd64.tar.gz # cd kafka_exporter-1.2.0.linux-amd64.

目录：zookeeper集群搭建 kafka集群搭建 踩坑记录1. zookeeper集群搭建准备三台服务器，我们暂且命名为server1; server2;server3 在server1集群上，新建目录/data/zookeeper； 网上下载apache-zookeeper-3.5.7-bin.tar.gz 安装包 (这里有个点要注意，在走zookeeper3.5.5 及以上版本时，下载安装包需要下载带有-bin的安装包) 解压zookeeper安装包，目录apache-zookee

目录：自定义注解bean bean工厂 依赖注入&循环依赖在上一节，自定义注解实现了接口的配置调用，但是我们没有使用到spring的依赖注入及统一bean管理；那么本节我们将来实现这一块的功能1. 自定义注解@Beanpackage com.mp.framework.beans;import java.lang.annotation.*;@Target(Elem...

目录：自定义接口常用注解： @MyController @MyRequestMapping @MyRequestParam 包扫描 实现接口统一调度： DispatcherServlet1. 自定义接口常用注解在framework包下新建annotation包，新增3个注解 package com.mp.framework.annotation;import j...

抄写springboot源码--my-spring项目☞集成Tomcat，跑通spring mvc目录：集成Tomcat 跑通spring mvc1. 集成Tomcatpom增加Tomcat依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/...

1. 抄写springboot源码 -- my-spring 项目在项目中，集成spring体系后，发现一切都变得超简单. 所以我有个大胆的想法，抄袭springboot源码，写一个我自己的springboot框架，说着，我就动手开始了...2. 目录：搭建项目架子，保证项目能正常启动 集成tomcat服务，运行mvc 实现controller控制器的调度 注解实现bean...

spring @Value注解原理梳理及自定义实现@MyValue注解目录@Value注解如何使用？探索@Value注解的实现过程自定义实现@MyValue注解1. @Value注解如何使用?在项目中我们经常需要用到使用读取配置文件，进行属性值的注入很方便；很多时候我们不想手动的去初始化配置，在spring就提供了很强大的属性依赖配置注解@Value来实现，在实现bean创建后...

在工作中，经常需要用到一些自定义函数，本文将以工作用用到的解密函数来做一个udf开发；本问文旨在做记录.1. pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3....

1.介绍Stream是java8中处理集合的关键抽象，用于对集合的操作处理；可执行复杂的查找、过滤及映射处理等操作特点：（1）stream不会改变源数据对象，会返回一个新的集合（2）Steam操作是延迟执行的，只有终止操作执行后，所有的中间操作一次执行;这里指的是filter等中间处理2.操作数据流2.1 创建数据流2.2.1通过Collection 系列集合提供...

/** lambda 函数式编程* （1）Function： 指定入参和返回值类型(可以为void)* -> compose: before* -> andThen: after* apply()* （2）Consumer： 指定入参，无返回值，注重内部消费* accept()* （3）Predicate： 指定入参，返回值...

前：在项目中，经常会遇到多人合作开发，这在开发及运行的过程中难免会遇到代码的合并、测试及上线发布的问题，为了规范化处理，指定以下流程目录：1.分支的划分（1）主分支：master（2）主开发分支： dev（3）功能分支：feature-xxx （临时性）（4）补丁分支：hotfix-xxx （临时性）（5）预发布分支：release （临时性）2.流程规范首先...

NIOServer：package com.mp.threadimport java.net.InetSocketAddressimport java.nio.ByteBufferimport java.nio.channels.{SelectionKey, Selector, ServerSocketChannel, SocketChannel}object NioServer...

在应用中，启动任务经常需要使用Array[String] 传参的方式，本文将重点介绍OptionParser方式1.pom添加依赖<dependency> <groupId>net.sf.jopt-simple</groupId> <artifactId>jopt-simple</art...

1、添加maven依赖<!-- Logger--> <dependency> <groupId>com.typesafe.scala-logging</groupId> <artifactId>scala-logging_2.12</artifactId>...

本文开篇介绍idea搭建scala开发环境1、基于maven创建一个空项目2、修改main和test下的java目录为scala3.修改pom文件，增加依赖<dependencies> <dependency> <groupId>org.scala-lang</groupId> ...

工作中经常需要自定义metrics监控，用于发现及排查问题，而prometheus是现在最普遍用到的监控工具本文中讲通过一个实例demo来演示创建过程1.创建springboot项目pom.xml 增加prometheus相关的依赖<dependency> <groupId>org.springframework.boot</...

1.介绍：消息系统：kafka作为一款消息中间件系统，具备有系统解耦，冗余存储，流量控制，缓冲，异步通讯，扩展性及可恢复性等功能；可以保障分区消息的顺序性及回溯消费功能 存储系统：kafka消息持久化到磁盘，较其他内存存储系统而言，有效的降低了数据丢失的风险；kafka提供了多副本机制 流数据处理平台：kafka可作为流式计算框架的可靠数据来源2. 关键词Producer： Con...

1.springboot 日志管理（1）项目打印日志时，每个类中都需要指定loggerprivate final Logger logger = LoggerFactory.getLogger(LoggerTest.class);（2）为避免麻烦，我们可以使用@Slf4j注解，来简化我们的操作1.1 需要引入maven依赖<dependency> <grou...