- 博客(28)
- 收藏
- 关注
RSS订阅原创 mat分析线上heap dump文件
mat分析线上heap dump文件1. 发现问题(1) 某次线上服务3台机器全部宕机，查看日志及监控发现，oom异常(2) 赶紧登录服务器，做了一次线上heap dump 操作，保留快照文件，以便后续分析问题 ① 进入docker容器，docker exec -it xxxx sh ② 执行jps，查看服务进程 jps, ③ 开始做dump文件： jmap -dump:format=b,file=heap.2021-12-28.hprof <pid> ④ 至此，线上快照完毕，
2021-12-30 09:45:18
1519
原创 kafka副本调整及分区数据迁移
topic分区数据转移往往在生产系统中，涉及到kafka broker的扩容和缩容操作（减少broker）针对缩容操作，这里主要用到的就是partition的重分区实施方案1.准备 topic列表 （需要移除的topic list）eg: topics_to_move.json{"topics": [{"topic":"dw-topic1"},{"topic":"dw-topic2"}], "version": 1}kafka bin目录下，执行sh kafka-reassign-
2020-05-09 13:08:04
1821
原创 kafka增加监控功能
目录：kafka-exporter 安装1.kafka-exporter安装 #wget https://github.com/danielqsj/kafka_exporter/releases/download/v1.2.0/kafka_exporter-1.2.0.linux-amd64.tar.gz# tar -zxvf kafka_exporter-1.2.0.linux-amd64.tar.gz # cd kafka_exporter-1.2.0.linux-amd64.
2020-05-09 11:36:05
425
原创 kafka集群搭建及踩坑记录
目录：zookeeper集群搭建 kafka集群搭建 踩坑记录1. zookeeper集群搭建准备三台服务器，我们暂且命名为server1; server2;server3 在server1集群上，新建目录/data/zookeeper； 网上下载apache-zookeeper-3.5.7-bin.tar.gz 安装包 (这里有个点要注意，在走zookeeper3.5.5 及以上版本时，下载安装包需要下载带有-bin的安装包) 解压zookeeper安装包，目录apache-zookee
2020-05-08 23:27:27
437
原创 抄写springboot源码--my-spring项目☞bean工厂管理
目录：自定义注解bean bean工厂 依赖注入&循环依赖在上一节，自定义注解实现了接口的配置调用，但是我们没有使用到spring的依赖注入及统一bean管理；那么本节我们将来实现这一块的功能1. 自定义注解@Beanpackage com.mp.framework.beans;import java.lang.annotation.*;@Target(Elem...
2020-05-07 18:53:54
152
原创 抄写springboot源码--my-spring项目☞注解实现接口调用
目录：自定义接口常用注解： @MyController @MyRequestMapping @MyRequestParam 包扫描 实现接口统一调度： DispatcherServlet1. 自定义接口常用注解在framework包下新建annotation包，新增3个注解 package com.mp.framework.annotation;import j...
2020-05-07 18:29:31
140
原创 抄写springboot源码--my-spring项目☞集成Tomcat，跑通spring mvc
抄写springboot源码--my-spring项目☞集成Tomcat，跑通spring mvc目录：集成Tomcat 跑通spring mvc1. 集成Tomcatpom增加Tomcat依赖<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/...
2020-05-07 17:44:29
90
原创 抄写springboot源码--my-spring项目
1. 抄写springboot源码 -- my-spring 项目在项目中，集成spring体系后，发现一切都变得超简单. 所以我有个大胆的想法，抄袭springboot源码，写一个我自己的springboot框架，说着，我就动手开始了...2. 目录：搭建项目架子，保证项目能正常启动 集成tomcat服务，运行mvc 实现controller控制器的调度 注解实现bean...
2020-05-07 17:27:53
178
原创 spring @Value注解原理梳理及自定义实现@MyValue注解实例
spring @Value注解原理梳理及自定义实现@MyValue注解目录@Value注解如何使用？探索@Value注解的实现过程自定义实现@MyValue注解1. @Value注解如何使用?在项目中我们经常需要用到使用读取配置文件，进行属性值的注入很方便；很多时候我们不想手动的去初始化配置，在spring就提供了很强大的属性依赖配置注解@Value来实现，在实现bean创建后...
2020-04-13 16:15:07
8238
1
原创 presto 自定义标量udf
在工作中，经常需要用到一些自定义函数，本文将以工作用用到的解密函数来做一个udf开发；本问文旨在做记录.1. pom文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3....
2020-04-01 12:54:33
427
1
原创 Lambda Stream Api 常用处理
1.介绍Stream是java8中处理集合的关键抽象，用于对集合的操作处理；可执行复杂的查找、过滤及映射处理等操作特点：（1）stream不会改变源数据对象，会返回一个新的集合（2）Steam操作是延迟执行的，只有终止操作执行后，所有的中间操作一次执行;这里指的是filter等中间处理2.操作数据流2.1 创建数据流2.2.1通过Collection 系列集合提供...
2020-03-18 12:53:29
142
原创 Lambda 编程
/** lambda 函数式编程* （1）Function： 指定入参和返回值类型(可以为void)* -> compose: before* -> andThen: after* apply()* （2）Consumer： 指定入参，无返回值，注重内部消费* accept()* （3）Predicate： 指定入参，返回值...
2020-03-18 10:05:41
210
原创 Git多人协作流程管理
前：在项目中，经常会遇到多人合作开发，这在开发及运行的过程中难免会遇到代码的合并、测试及上线发布的问题，为了规范化处理，指定以下流程目录：1.分支的划分（1）主分支：master（2）主开发分支： dev（3）功能分支：feature-xxx （临时性）（4）补丁分支：hotfix-xxx （临时性）（5）预发布分支：release （临时性）2.流程规范首先...
2020-02-22 08:49:37
306
原创 NIO demo入门
NIOServer：package com.mp.threadimport java.net.InetSocketAddressimport java.nio.ByteBufferimport java.nio.channels.{SelectionKey, Selector, ServerSocketChannel, SocketChannel}object NioServer...
2020-02-01 12:21:06
225
原创 day03--传参统一管理之OptionParser
在应用中，启动任务经常需要使用Array[String] 传参的方式，本文将重点介绍OptionParser方式1.pom添加依赖<dependency> <groupId>net.sf.jopt-simple</groupId> <artifactId>jopt-simple</art...
2020-01-10 09:49:31
501
原创 day02-scala集成Logger,统一日志管理
1、添加maven依赖<!-- Logger--> <dependency> <groupId>com.typesafe.scala-logging</groupId> <artifactId>scala-logging_2.12</artifactId>...
2020-01-08 19:30:25
1733
原创 day01--idea scala环境搭建
本文开篇介绍idea搭建scala开发环境1、基于maven创建一个空项目2、修改main和test下的java目录为scala3.修改pom文件，增加依赖<dependencies> <dependency> <groupId>org.scala-lang</groupId> ...
2020-01-08 15:55:20
100
原创 自定义metrics及可视化-demo
工作中经常需要自定义metrics监控，用于发现及排查问题，而prometheus是现在最普遍用到的监控工具本文中讲通过一个实例demo来演示创建过程1.创建springboot项目pom.xml 增加prometheus相关的依赖<dependency> <groupId>org.springframework.boot</...
2020-01-08 15:29:54
3265
2
原创 kafka-day01 初识kafka
1.介绍：消息系统：kafka作为一款消息中间件系统，具备有系统解耦，冗余存储，流量控制，缓冲，异步通讯，扩展性及可恢复性等功能；可以保障分区消息的顺序性及回溯消费功能 存储系统：kafka消息持久化到磁盘，较其他内存存储系统而言，有效的降低了数据丢失的风险；kafka提供了多副本机制 流数据处理平台：kafka可作为流式计算框架的可靠数据来源2. 关键词Producer： Con...
2020-01-03 09:38:14
192
原创 springboot日志管理05
1.springboot 日志管理（1）项目打印日志时，每个类中都需要指定loggerprivate final Logger logger = LoggerFactory.getLogger(LoggerTest.class);（2）为避免麻烦，我们可以使用@Slf4j注解，来简化我们的操作1.1 需要引入maven依赖<dependency> <grou...
2019-07-05 09:37:36
235
原创 spring boot 之配置文件yarm读取04
1.springboot 读取配置文件yarn1.1 准备配置文件yaml在main目录下新建resources目录，并设置为Root Resources,新建文件application.yamlserver: ip: 10.1.0.6 hostname: hadoop-bd1 admin: zhangsanyaml是替代传统的xx.properties文件，是一种方便的定义层次配...
2019-07-05 09:35:45
1318
原创 springboot之jpa详解03
springboot之jpa详解1.jpa介绍（1）jpa(java persistence Api) 是sun官方提出的java持久化规范，作为开发人员提供的一种对象/关联映射工具来管理java应用中的关系数据（2）简化现有持久化开发工作和整合ORM技术2.使用2.1 spring data默认基础实现，即预先生成方法继承JpaRepositorypublic interfac...
2019-07-05 09:30:58
166
原创 rockdb 原理
1.结论（1）rocksdb根据分层触发条件触发compaction操作（2）rocksdb 做merge后，会根据原来的sst数据文件合成新的sst，然后在checkpoint的时候，生成新的hdfs文件，删除旧sst hdfs数据文件（注：这里的rocksdb merge 和checkpoint 是两个独立的线程）2.基础介绍重要概念：（1）active memtable: writ...
2019-07-05 09:28:36
1659
原创 flink 动态广播状态
flink 动态广播状态笔记1.概要往往我们在做flink任务计算的时候，需要动态的匹配规则，但是我们又不能每次修改都去重新部署服务，所以我们这里需要借助于flink的动态广播状态机制，来实时的处理我们的规则变化2.样例本实例，我们做的是增加动态规则判断，根据实时规则变化来判断是否需要做外部存储校验代码：package com.kn.broadcastimport org....
2019-07-05 09:27:06
2932
原创 flink on yarn、资源及状态管理
flink源码学习：http://www.cnblogs.com/bethunebtj/p/9168274.htmlflink on yarn 执行任务的两种方式1.yarn-session.sh(开辟资源)+flink run(提交任务)1.在yarn中起一个守护进程，用于启动多个job,即一个application master 管理多个job 2.启动命令： ./yarn...
2019-07-05 09:26:11
5265
2
原创 flink api 常用算子的操作
flink api常用操作算子1.flink 中算子是将一个或多个DataStream转换为新的DataStream，可以将多个转换组合成复杂的数据流拓扑2.在flink中有多种不同的DataStream类型，他们之间是通过使用各种算子进行的3.在flink中使用scala语言开发，需要引用import org.apache.flink.streaming.api.scala.Stream...
2019-07-05 09:24:30
8765
7
原创 springboot基础jpa开发02
1.数据库操作在spring boot中操作数据库很方便，这里我们使用jpa，jpa是利用Hibernate生成各种自动化sql，增删改查都能简单实现1.1 添加maven jpa依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>sp...
2019-07-05 09:15:54
127
原创 springboot入门篇01
springboot入门篇1.构建maven环境1.1 准备pom文件<parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>...
2019-07-05 09:14:47
115
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人