- 博客(17)
- 收藏
- 关注
RSS订阅
原创 hbase写入一段时间后变的越来越慢
一、概况集群环境如下表：集群 机器 存储 内存 CPU 每日数据 HW大数据平台 160台 6PB 10TB 8000 10亿 数据存储在kafka中，130个分区，采用sparkstreaming将数据清洗后，通过phoneix批量写入...
2019-09-19 17:32:25
5854
1
原创 oracle连接卡住，导致程序不运行
一 、概况采用springboot的jpa读取oracle的数据，大概300万数据，运行一天左右之后，程序卡死，导致数据接入接不完。二、排查思路java生产级别的接入程序卡死是正常的，基本重启就可以解决问题，但是重启之后还是会卡死，所以要排查原因，找到源头。基本的思路就是查看代码堆栈，是否是线程死锁、遇到阻塞队列、或者线程池线程因为内存不足退出等。基本使用的工具包括jstack...
2019-09-19 14:55:13
2358
原创 zuul的并发请求数优化
Zuul的并发性能优化服务：zuul网关服务，erreka-client服务（10个实例）一. 笔记本压测和linux服务器压测的性能差距 刚开始用zuul代理erreka-client的接口/test/java-user，此接口是裸接口，用ab压测，tps才是300多，来回压，各种压都上不去，怀疑是我部署的有问题，各种百度优化了许多参数，均无效果，看网上介绍zuul的tps都能...
2019-04-12 09:47:35
11453
2
原创 Tcp异常断开之Connection reset
一、背景192.168.15.81（linux机器）机器访问192.168.0.139（linux机器）的任意端口，建立的tcp连接成功，但是连接会莫名奇妙的消失，导致Connection reset的错误。192.168.5.81的mac地址：6C:92:BF:0B:2F:9D（linux）192.168.0.139的mac地址：未知(linux)192.168.15.186的mac地址：44-...
2018-04-23 09:51:22
11768
原创 mpp动态新增和删除分区的定时任务创建
动态创建分区的存储过程CREATE OR REPLACE FUNCTION "spiderman"."prc_job_add_partition"() RETURNS "pg_catalog"."void" AS $BODY$ DECLAREdateName VARCHAR2(110);dateEnd VARCHAR2(110);p_sql VARCHAR2(200);BEGI...
2020-01-20 16:07:29
1167
原创 实时告警架构优化实战
简介线上有一个告警服务采用sparkstreaming+kafka的模式实时处理数据进行布控告警，10s一个批次，34个executor，每个4core，kafka有260个分区，采用直读的方式并且打开了慢执行推测。运行一段时间后，都没有延迟，目前布控任务有1000个左右，每天4000万的数据需要处理，昨晚业务突然添加了2000个布控任务，导致任务有积压，导致告警延迟两个多小时，经过排查，...
2019-12-20 20:27:45
1011
1
原创 微服务架构实战
目录简介架构选型组件介绍架构设计图微服务架构体系构建-服务监控微服务架构体系构建-服务注册微服务架构体系构建-服务网关微服务架构体系构建-服务配置微服务架构体系构建-熔断器微服务架构体系构建-服务托管背景介绍主要功能技术图谱界面展示微服务架构体系构建-日志统一存储背景介绍日志流程主题功能界面展示简介 ...
2019-12-16 10:37:34
915
原创 apaceh kylin的集成华为大数据平台
环境准备FusionInsight Managerapache-kylin-2.6.4-bin-hbase1xcentos7.3 3 × 48线程+ 500g内存安装包下载上传下载安装包http://mirror.bit.edu.cn/apache/kylin/apache-kylin-2.6.4/apache-kylin-2.6.4-bin-hbase1x....
2019-12-10 16:42:57
505
原创 如何通过jvm解决生产问题的实战总结
目录jvm的基础知识内存模型程序计数器java栈堆本地方法栈方法区对象大小计算对象结构大小对象头对其补充线程模型ThreadPoolExecutor创建线程池GC详解基础工具jvm案例排查讲解一般情况下，我们生产环境中所遇到的bug或问题基本可以分为四类：第一类是比较简单的bug，一般日志会有错误堆栈，或者异常信息，这种基本都...
2019-12-02 15:20:02
670
原创 java大对象引发的频繁full gc及cpu飙高的调优历程
问题描述linux系统，执行top命令-bash-4.2# toptop - 08:57:47 up 147 days, 23:08, 2 users, load average: 67.32, 60.83, 58.97Tasks: 1310 total, 2 running, 1307 sleeping, 0 stopped, 1 zombie%Cpu(s): ...
2019-10-24 16:37:50
4308
2
原创 hbase客户端认证缓慢解决
问题描述异常日志2019-10-22 12:23:43.824 [pool-8-thread-115] INFO c.s.firstShoot.vehicle.VehicleFirstShootPerDay - 开始创建roaringbitmap:20191010000000->201910092359592019-10-22 12:23:43.824 [pool-8-threa...
2019-10-22 14:05:40
1045
原创 phoenix整合springboot采用druid作为连接池一点时间后报Connection is null or closed.
问题描述项目高访问量的时候，基本上线不到三天就会一直输出下面的错误org.springframework.jdbc.UncategorizedSQLException: StatementCallback; uncategorized SQLException for SQL [select TO_CHAR(captured_time, 'yyyy-MM-dd HH:mm:ss'),ca...
2019-10-17 18:04:30
5410
1
原创 从磁盘原理理解文件读写优化
摘要：本次案例主要讲述java高性能读写文件，如何提高文件IO关键词：java 读写文件 IO NIO 文件碎片 小文件 文件刷盘 顺序与随即读写
2019-10-02 22:01:26
2418
原创 logback输出日志到elasticsearch方案
功能一： 微服务日志采集汇聚方案第一步：maven引入，放在dependencys的第一位，一定是第一位<dependency> <groupId>com.suncreate</groupId> <artifactId>log-lib</artifactId> <version>1.0.0-SNAPSHO...
2019-04-30 11:20:56
7666
原创 spark中如何使用logback日志系统写数据到es中
spark运行环境在yarn上，环境依赖log4j的日志系统，但是我们上线的应用采用logback日志，与log4j冲突，我们又不可能动环境中的jar包，那改怎么办呢？看如下代码第一步：引入相关jar的maven依赖<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/...
2019-04-08 16:04:10
1956
4
原创 springboot集成日志组件
如何管理微服务日志通过logback拓展组件，将所有微服务日志搜集到es，按天建索引，通过kibana展示1.引入maven依赖<dependency> <groupId>com.internetitem</groupId> <artifactId>logback-elasticsearch-appender</artifa...
2019-04-02 11:38:55
815
原创 java提交spark任务到yarn平台
一、背景 采用spark的方式处理，所以需要将spark的功能集成到代码，采用yarn客户端的方式管理spark任务。不需要将cdh的一些配置文件放到resource路径下，只需要配置一些配置即可，非常方便 二、任务管理架构 三、接口1、maven坐标<!-- spark依赖 --> <dependency> &...
2018-06-21 21:31:32
11200
12
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人