调优
关注
分享
扫一扫
文章平均质量分 96
调优
阿啄debugIT
0、精通java，及常用设计模式，熟练编写shell脚本，掌握python、scala、golang的编写;
1、精通Spring Cloud等微服务架构，掌握SpringBoot、batis等后端技术，kafka、redis、es等中间件的整合开发；
2、熟悉掌握mysql、pg等关系数据的原理及调优，及NoSQL数据的存储和查询；
3、熟悉CDH各个组件，及精通离线、实时等计算技术；
4、掌握java多线程高并发编程，及整合shiro、redis、fastdfs、MQ、netty等开发；
5、熟悉K8S集群管理Docker容器，及理解掌握openstack原理和操作。
展开
-
通过ThreadPoolExecutor与ForkJoinPool比较，分别对比其execute ，submit 等方法提交线程池任务的区别，来深入理解线程池及并发编程
并发编程 —— 深入理解线程池https://www.cnblogs.com/chiangchou/p/thread-pool.htmlhttps://tech.meituan.com/2020/04/02/java-pooling-pratice-in-meituan.html原创 2021-03-16 18:26:06 · 2816 阅读 · 2 评论 -
Linux内存使用率高问题排查思路jmap，及Linux 操作系统加固和安全策略设置
本文旨在指导系统管理人员或安全检查人员进行Linux操作系统的安全合规性检查和加固。1. 账号和口令1.1 禁用或删除无用账号减少系统无用账号，降低安全风险。操作步骤 使用命令userdel <用户名>删除不必要的账号。 使用命令passwd -l <用户名>锁定不必要的账号。 使用命令passwd -u <用户名>解锁必要的账号。 1.2 检查特殊账号检查是否存在空口令和root权限的账号。操作步骤...原创 2021-02-18 02:02:39 · 636 阅读 · 0 评论 -
CentOS 7系统下docker安装，及配置阿里云加速，解决拉取harbor私有仓库，连接拒绝的问题
前言测试安装系统为Linux系统 CentOS 7，docker安装教程，在docker拉取镜像的时候，由于需要访问外网的缘故，拉取速度会非常的慢，下面来简要介绍一下怎么解决这一问题？试试阿里云镜像加速，所有操作切换进入root权限cd /docker安装查看本机版本 仅支持3.10版本以及以上[root@instance-z42b1xb1 /]# uname -aLinux instance-z42b1xb1 3.10.0-957.27.2.el7.x86_64 #1 SMP原创 2020-10-19 15:40:38 · 735 阅读 · 0 评论 -
参考EDAS，来探讨SpringCloud微服务应用，在Kubernetes云原生体系下的弹性伸缩的两个关键点（规则触发与实例调度）优化的方向和做法
前言弹性伸缩是一种为了满足业务需求、保证服务质量、平衡服务成本的重要应用管理策略。弹性伸缩让应用的部署规模，能够根据实时的业务量产生动态调整，在业务高峰期，扩大部署规模，保证服务不被业务冲垮；在业务低谷期缩减部署规模，避免资源浪费。由于大部分云资源是按需取用，按量计费模式，相比使用 IDC，使用云的用户，从弹性伸缩获得的成本，优势是非常明显的，弹性伸缩也是大多数云上用户的选择。而关于如何用好弹性伸缩，一直是用户非常关心的问题，本文尝试围绕这个话题，给出一些相关的思考和优化实践。实现弹性伸缩原创 2020-10-14 17:47:47 · 259 阅读 · 0 评论 -
CDH新增计算节点，并对新增的计算节点，添加服务角色的详细具体步骤
前言最近发现，公司的的大数据环境，空间有不足的情况，集群的计算能力也下降， 此时需要对将大数据的集群环境进行扩容 增加计算节点。操作步骤集群示意图：准备好linux环境配置hadoop账号，ssh免密，关掉防火墙，磁盘挂载1：创建hadoop账号useradd hadoop２：ssh无密码登陆su hadoopssh-keygen -t rsa#复制到所有datanode，并测试ssh登陆cp id_rsa.pub authorized_key３：配置h原创 2020-10-07 22:21:39 · 1787 阅读 · 2 评论 -
在Java层面（window和Linux系统）下的常用性能监控与调优工具的命令及操作
前言总结，学习，发现问题，再总结，避免以后，在需要的时候抓狂！jvm中的gc的参数解释年轻代survivor（幸存区） S0C 年轻代中第一个survivor（幸存区）的容量(kb) S1C 年轻代中第二个survivor（幸存区）的容量(kb) 已使用 S0U 年轻代中第一个survivor（幸存区）目前已使用空间(kb) S1U 年轻代中第二个survivor（幸存区）目前已使用空间(kb) 年轻代中Eden（伊甸园）原创 2020-10-07 20:36:56 · 1046 阅读 · 0 评论 -
使用Java层面的工具定位问题及使用系统层面的工具定位堆外内存，排查Spring Boot引起的“堆外内存泄漏”的经验总结
背景为了更好地实现对项目的管理，我们将组内一个项目，迁移到MDP框架（基于Spring Boot），随后我们就发现系统会频繁报出Swap区域使用量过高的异常。笔者被叫去帮忙查看原因，发现配置了4G堆内内存，但是实际使用的物理内存竟然高达7G，确实不正常。JVM参数配置是-XX:MetaspaceSize=256M-XX:MaxMetaspaceSize=256M-XX:+AlwaysPreTouch-XX:ReservedCodeCacheSize=128m-XX:InitialCod原创 2020-10-04 23:01:44 · 267 阅读 · 0 评论 -
如何基于HBase构建容纳大规模数据、支撑高并发、毫秒响应、稳定高效的OLTP实时系统
前言本文致力于从架构原理、集群部署、性能优化与使用技巧等方面，阐述在如何基于HBase构建容纳大规模数据、支撑高并发、毫秒响应、稳定高效的OLTP实时系统 。一、架构原理1.1 基本架构从上层往下可以看到HBase架构中的角色分配为：Client——>Zookeeper——>HMaster——>RegionServer——>HDFSClientClient是执行查询、写入等对HBase表数据进行增删改查的使用方，可以是使用HBase Client API原创 2020-10-04 15:04:19 · 2916 阅读 · 3 评论 -
详解kafka的broker、producter、consumer三个不同的配置
一 BROKER 的全局配置最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。系统相关## 每一个broker在集群中的唯一标示，要求是正数。#在改变IP地址，不改变broker.id的话不会影响consumersbroker.id = 1## kafka数据的存放地址，多个地址的话#用逗号分割 /tmp/kafka-logs- 1 ，/tmp/kafka-logs- 2log.dirs = /tmp/kafka-logs##提供给客户端原创 2020-09-29 11:05:24 · 908 阅读 · 0 评论 -
为准备做架构师的您的一些良言及警示，建议置顶首页勉励自己，切记“过度的忙碌使你落后”
站在巨人肩膀成长话说一位做程序员有17 年的朋友， 在像 HP、Amazon 这样的世界级团队，担任架构师有10年，也做过中小企业的技术领导。借CSDN分享一下他的工作感悟，及成功总结，和部分失败的反思，让我们不再踩无谓的坑，站在巨人肩膀成长。先“提出问题”，然后再“解决问题”作为程序员，已经习惯于面对问题时，而急于去解决问题，而很少以问题提出者的身份去思考设计方案，很少全面的看待问题。团队项目中常见的典型矛盾，就是产品团队和研发团队之间的矛盾。作为研发团队，常吐槽产品团队的需求不合理、不懂技.原创 2020-09-23 12:22:55 · 1035 阅读 · 2 评论 -
在IT开发工作中，应该如何Debug代码？如何尽快的定位问题？如何尽快的解决问题？
前言在IT开发工作中，写代码或者编程，只是其中的一部分，而更重要的是，自己觉得完美的代码，被测试，或者客户，或者领导怼出一堆BUG，刚刚还没有得意的笑脸，霎时间乌云密布，该怎么办？都是什么啊？这些问题，需求里有吗？怎么不早说？真想骂***……毕竟是自己代码的问题，甩锅是一种解决方案，但是不是最佳方案，最好的，还是从自己的代码找问题，这就避免不了在IDE上，进行反复的Debug代码，去定位问题，去解决问题……把自己洗干净了，摸清问题，再甩锅不迟啊，否者自己就变成了背锅侠……如何Debug代码？原创 2020-07-01 11:50:25 · 1839 阅读 · 0 评论 -
Centos6.4的内核是2.6.32系统内核升级到3.0.88的详细步骤
前言目前centos6.4的内核是2.6.32,对于网络间数据的采集层，如果要使用万兆网卡进行原始信令的采集处理，需要使用netmap对万兆网卡的数据包做采集。而经过测试，netmap依赖的linux内核是3.0.88，所以所有的采集服务器，内核必须安装|升级到3.0.88。步骤新装服务器为centos 6.4的内核是2.6.32，后续10GE采集需要用的netmap模块加载需要升级内核只3.0.88(1) 上传linux_3.0.88.tar至服务器/root/目录下；(2) ...原创 2020-06-22 19:51:10 · 663 阅读 · 0 评论 -
后台报com.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link failu问题的解决方案
问题：今早，发现昨天部署的JAVA-WEB服务，不正常启动了，于是查看后台日志，发现11:07:05.358 [Druid-ConnectionPool-Create-1102883776] ERROR com.alibaba.druid.pool.DruidDataSource - create connection holder errorcom.mysql.cj.jdbc.exceptions.CommunicationsException: Communications link f原创 2020-06-19 11:44:29 · 4444 阅读 · 1 评论 -
Ceph集群升级，存储引擎改用了bluestore，创建wal&db分区,并创建OSD,指定wal&db使用分区作高速缓存
目录前言：DB WAL分区wal & db 的大小问题创建wal & db分区创建OSD其他前言：ceph集群分别有两个HDD和SSD存储池，一般来说，缓存层构建在昂贵/速度更快的SSD磁盘上，这样才能为客户提供更好的I/O性能。在缓存池后端通常是存储层，它由复制或者erasure类型的HDD组成。在这种类型的设置中，客户端将I/O请求提交到缓存池，不管它是一个读或写操作，它的请求都能够立即获得响应。速度更快的缓存层为客户端请求提供服务。一段时间后，缓存.原创 2020-06-16 18:19:49 · 3680 阅读 · 0 评论 -
Linux 安装并优化 postgreSQL9.6.2
1.下载postgresSQL9.6.2wget https://ftp.postgresql.org/pub/source/v9.6.2/postgresql-9.6.2.tar.bz22.解压:tar -jxvf postgresql-9.6.2.tar.bz23.安装插件gcc: 参考文档：http://192.168.6.32:8010/pages/viewp...原创 2020-05-24 15:46:36 · 390 阅读 · 0 评论 -
迁移mysql数据库，遇到的问题，及解决方案
1、先测试看数据库的大小SELECT TABLE_SCHEMA, CONCAT(TRUNCATE(SUM(data_length)/1024/1024,2),' MB') AS data_size,CONCAT(TRUNCATE(SUM(index_length)/1024/1024,2),'MB') AS index_sizeFROM information_schema.tables...原创 2020-03-06 18:37:33 · 424 阅读 · 0 评论 -
Spark的性能优化案例分析（上）
前言现在最主流的大数据技术几乎都是开源的产品，不管是 Hadoop 这样的大数据存储与计算产品，还是 Hive、Spark SQL 这样的大数据仓库，又或者 Storm、Flink 这样的大数据流计算产品，还有 Mahout、MLlib 这样的大数据机器学习算法库，它们都来自开源社区。所以，我们在使用大数据、学习大数据的过程中肯定少不了要和开源社区打交道。一方面希望更深入、系统地了解软件性...原创 2020-02-04 21:51:06 · 1041 阅读 · 0 评论 -
mysql，及postgresql 等SQL语句优化和大表优化解决方案
前言当单表记录数过大时，增删改查性能都会急剧下降，可能原因：没有索引或者没有用到索引(这是查询慢最常见的问题，是程序设计的缺陷) 、I/O吞吐量小，形成了瓶颈效应、没有创建计算列导致查询不优化、内存不足、网络速度慢 、查询出的数据量过大（可以采用多次查询，其他的方法降低数据量）、锁或者死锁(这也是查询慢最常见的问题，是程序设计的缺陷) 、sp_lock,sp_who,活动的用户查看,原因是...原创 2020-02-04 03:02:32 · 4645 阅读 · 3 评论