自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

原创 Java 应用性能调优实践指南

Java 应用性能优化是一个老生常谈的话题,典型的性能问题如页面响应慢、接口超时,服务器负载高、并发数低,数据库频繁死锁等。尤其是在“糙快猛”的互联网开发模式大行其道的今天,随着系统访问量的日益增加和代码的臃肿,各种性能问题开始纷至沓来。 Java 应用性能的瓶颈点非常多,比如磁盘、内存、网...

2019-07-05 10:18:52

阅读数 35

评论数 0

转载 SpringBoot四大神器之Actuator

Spring Boot有四大神器,分别是auto-configuration、starters、cli、actuator,本文主要讲actuator。actuator是spring boot提供的对应用系统的自省和监控的集成功能,可以对应用系统进行配置查看、相关功能统计等。 目录 1. 开启A...

2019-02-15 09:26:48

阅读数 576

评论数 0

原创 使用Docker在本地搭建kafka分布式集群

一、下载 下载地址: http://kafka.apache.org/downloads.html    我这里下载的是Scala 2.11对应的 kafka_2.11-1.1.0.tgz 二、kafka安装 集群规划 IP 节点名称 Kafka Zookeeper...

2019-01-14 15:42:59

阅读数 278

评论数 0

原创 使用Docker在本地搭建Flink分布式集群

Flink典型的任务处理过程如下所示: Flink安装包下载地址:http://flink.apache.org/downloads.html  ,选择对应Hadoop的Flink版本下载  Standalone 模式 快速入门教程地址:https://ci.apache.org/p...

2019-01-11 15:56:40

阅读数 3413

评论数 0

转载 如何优化Java垃圾回收机制

为什么需要优化GC 或者说的更确切一些,对于基于Java的服务,是否有必要优化GC?应该说,对于所有的基于Java的服务,并不总是需要进行GC优化,但前提是所运行的基于Java的系统,包含了如下参数或行为: 已经通过 -Xms 和–Xmx 设置了内存大小 包含了 -server 参数 系统...

2018-09-29 09:56:06

阅读数 132

评论数 0

原创 JVM参数总结及JVM监控工具

JVM参数总结 Java线程状态 线程的五种状态 * 新建:new(时间很短) * 运行:runnable * 等待:waitting(无限期等待),timed waitting(限期等待) * 阻塞:blocked * 结束:terminated(时间很短) Jvm监控工...

2018-09-26 10:31:39

阅读数 656

评论数 0

转载 设计模式-结构型模式之代理模式

代理模式是对象的结构模式。代理模式给某一个对象提供一个代理对象,并由代理对象控制对原对象的引用。代理模式的结构  所谓代理,就是一个人或者机构代表另一个人或者机构采取行动。在一些情况下,一个客户不想或者不能够直接引用一个对象,而代理对象可以在客户端和目标对象之间起到中介的作用。  代理模式类图如下...

2018-07-09 10:32:30

阅读数 56

评论数 0

转载 设计模式-结构型模式之适配器模式

  适配器模式把一个类的接口变换成客户端所期待的另一种接口,从而使原本因接口不匹配而无法在一起工作的两个类能够在一起工作。适配器模式的用途  用电器做例子,笔记本电脑的插头一般都是三相的,即除了阳极、阴极外,还有一个地极。而有些地方的电源插座却只有两极,没有地极。电源插座与笔记本电脑的电源插头不匹...

2018-07-05 09:01:57

阅读数 46

评论数 0

转载 设计模式-创建模式之建造模式

 建造模式是对象的创建模式。建造模式可以将一个产品的内部表象(internal representation)与产品的生产过程分割开来,从而可以使一个建造过程生成具有不同的内部表象的产品对象。产品的内部表象  一个产品常有不同的组成成分作为产品的零件,这些零件有可能是对象,也有可能不是对象,它们通...

2018-07-03 09:20:30

阅读数 92

评论数 0

转载 设计模式-创建模式之单例模式

作为对象的创建模式,单例模式确保某一个类只有一个实例,而且自行实例化并向整个系统提供这个实例。这个类称为单例类。单例模式的结构  单例模式的特点:单例类只能有一个实例。单例类必须自己创建自己的唯一实例。单例类必须给所有其他对象提供这一实例。  饿汉式单例类public class EagerSin...

2018-06-30 09:49:12

阅读数 100

评论数 0

转载 设计模式-创建模式之抽象工厂模式

场景问题  举个生活中常见的例子——组装电脑,我们在组装电脑的时候,通常需要选择一系列的配件,比如CPU、硬盘、内存、主板、电源、机箱等。为讨论使用简单点,只考虑选择CPU和主板的问题。  事实上,在选择CPU的时候,面临一系列的问题,比如品牌、型号、针脚数目、主频等问题,只有把这些问题都确定下来...

2018-06-29 09:24:49

阅读数 54

评论数 0

转载 设计模式-创建模式之工厂模式

工厂方法模式是类的创建模式,具体描述:  工厂方法模式是类的创建模式,又叫做虚拟构造子(Virtual Constructor)模式或者多态性工厂(Polymorphic Factory)模式。  工厂方法模式的用意是定义一个创建产品对象的工厂接口,将实际创建工作推迟到子类中。那么工厂方法模式是在...

2018-06-27 13:43:29

阅读数 48

评论数 0

转载 设计模式-创建模式之简单工厂模式

简单工厂模式是类的创建模式,又叫做静态工厂方法(Static Factory Method)模式。简单工厂模式是由一个工厂对象决定创建出哪一种产品类的实例。那么简单工厂模式是在什么场景下使用呢,下面就以本人的理解举例说明:  就拿登录功能来说,假如应用系统需要支持多种登录方式如:口令认证、域认证(...

2018-06-26 19:29:45

阅读数 61

评论数 0

转载 Kafka Consumer多线程实例

Kafka 0.9版本开始推出了Java版本的consumer,优化了coordinator的设计以及摆脱了对zookeeper的依赖。社区最近也在探讨正式用这套consumer API替换Scala版本的consumer的计划。鉴于目前这方面的资料并不是很多,本文将尝试给出一个利用KafkaCo...

2018-06-08 09:08:19

阅读数 3836

评论数 0

原创 Kafka(三)常用命令

Kafka常用命令以下是kafka常用命令行总结:  1.查看topic的详细信息  ./kafka-topics.sh -zookeeper 127.0.0.1:2181 -describe -topic testKJ1  2、为topic增加副本  ./kafka-reassign-parti...

2018-06-07 17:37:29

阅读数 171

评论数 0

原创 并发性能优化 – 降低锁粒度

在高负载多线程应用中性能是非常重要的。为了达到更好的性能,开发者必须意识到并发的重要性。当我们需要使用并发时, 常常有一个资源必须被两个或多个线程共享。在这种情况下,就存在一个竞争条件,也就是其中一个线程可以得到锁(锁与特定资源绑定),其他想要得到锁的线程会被阻塞。这个同步机制的实现是有代价的,为...

2018-06-07 10:46:14

阅读数 163

评论数 0

转载 利用Canal完成Mysql数据同步Redis

流程Canal的原理是模拟Slave向Master发送请求,Canal解析binlog,但不将解析结果持久化,而是保存在内存中,每次有客户端读取一次消息,就删除该消息。这里所说的客户端,就需要我们写一个连接Canal的程序,持续从Canal获取数据。步骤一、配置Canal参考https://git...

2018-06-06 19:31:20

阅读数 842

评论数 1

转载 java解析 mysql binlog

在进入正题之前,我们需要知道binlog的event的类型,先来看看自己binlog文件有哪些?其中红色部分为event_type。binlog event 的类型有很多,具体可以参见mysql官方文档:http://dev.mysql.com/doc/internals/en/event-mea...

2018-06-06 19:30:12

阅读数 3543

评论数 0

原创 mysql binlog介绍、日志格式、数据查看等

(一) binlog介绍binlog,即二进制日志,它记录了数据库上的所有改变,并以二进制的形式保存在磁盘中;它可以用来查看数据库的变更历史、数据库增量备份和恢复、Mysql的复制(主从数据库的复制)。(二) binlog格式binlog有三种格式:Statement、Row以及Mixed。–基于...

2018-06-06 19:29:03

阅读数 382

评论数 0

转载 redis并发读写锁,使用Redisson实现分布式锁

今天为大家带来一篇有关Redisson实现分布式锁的文章,好了,不多说了,直接进入主题。1. 可重入锁(Reentrant Lock)Redisson的分布式可重入锁RLock Java对象实现了java.util.concurrent.locks.Lock接口,同时还支持自动过期解锁。[java...

2018-06-06 17:18:49

阅读数 2643

评论数 0

转载 MongoDB 数据库M-S主从复制

在同一台机器上用2个不同的端口,启动mongodb在数据库目录下建立2个新目录[root@localhost ~]# mkdir /data/db/master [root@localhost ~]# mkdir /data/db/slave主:只需要带上--master参数,表明这是个主就可以了...

2018-06-06 16:50:35

阅读数 125

评论数 0

原创 Kafka(二)使用

一.kafka使用1. pom.xml <!--kafka--> <dependency> <groupId>org.springframework.kafka...

2018-05-18 15:50:18

阅读数 421

评论数 0

转载 SpringBoot+ZooKeeper+ZKUI+Drools 实现应用配置中心及业务规则动态加载

本文目的:使用ZooKeeper作为SpringBoot应用的配置中心应用中使用到的业务规则存储在Zookeeper中,规则更新后在不重启应用的情况下通知应用动态重载规则1.zookeeper简介Zookeeper是一个高性能,分布式的,开源分布式应用协调服务。它提供了简单原始的功能,分布式应用可...

2018-04-17 13:30:21

阅读数 483

评论数 1

转载 Java高并发系统的限流策略

概要 在大数据量高并发访问时,经常会出现服务或接口面对暴涨的请求而不可用的情况,甚至引发连锁反映导致整个系统崩溃。此时你需要使用的技术手段之一就是限流,当请求达到一定的并发数或速率,就进行等待、排队、降级、拒绝服务等。 在开发高并发系统时有三把利器用来保护系统:缓存、降级和限流。 ...

2018-04-17 13:27:40

阅读数 191

评论数 0

转载 spring boot 添加admin监控

一、Spring Boot  Admin简介spring boot admin github开源地址:https://github.com/codecentric/spring-boot-admin它主要的作用是在Spring Boot Actuator的基础上提供简洁的WEB UI展示。二、项目...

2018-04-12 09:16:00

阅读数 455

评论数 0

转载 如何监控Java垃圾回收机制

在本文中,我将解释JVM到底是如何执行垃圾回收处理的。 什么是GC监控? 垃圾回收收集监控指的是搞清楚JVM如何执行GC的过程,例如,我们可以查明: 1.        何时一个新生代中的对象被移动到老年代时,所花费的时间。 2.       Stop-the-world 何时发生的,持续...

2018-04-04 09:16:16

阅读数 400

评论数 0

原创 Spark(四): spark第一个编程(JAVA)

一、问题描述三个文件中分别存储了学生的语文、数学和英语成绩,输出每个学生的成绩及平均值。数据格式如下: Chinese.txt张三 78 李四 89 王五 96 赵六 67Math.txt张三 88 李四 99 王五 66 赵六 77English....

2018-03-19 10:33:47

阅读数 209

评论数 0

转载 scala集合

本文参考至scala编程,菜鸟教程,然后将自己的判断以及重要方法的提取,解释,合并字符串在 Scala 中,字符串的类型实际上是 Java String,它本身没有 String 类。在 Scala 中,String 是一个不可变的对象,所以该对象不可被修改。这就意味着你如果修改字符串就会产生一个...

2018-03-16 16:52:22

阅读数 77

评论数 0

转载 scala高阶函数学习

参考文章 http://www.cnblogs.com/wzm-xu/p/4063814.html http://www.cnblogs.com/wzm-xu/p/4064389.htmlscala高阶函数上高阶函数是函数式编程里面一个非常重要的特色,所谓的高阶函数,就是以其它函数作为参数的函数。...

2018-03-16 16:49:18

阅读数 94

评论数 0

转载 scala编程基础

多行字符串的表示方法多行字符串用三个双引号来表示分隔符,格式为:”“” … “”“。 实例如下:val foo = """菜鸟教程 www.runoob.com www.w3cschool.cc www.runnoob.com 以上三个地址都能访问"&quo...

2018-03-16 16:43:57

阅读数 69

评论数 0

原创 Spark(三): spark集群环境搭建

dockerHadoop的集群,我做过一个镜像(这里)然后使用这个镜像分别启动3个容器:1个Master节点,两个Slave节点在Master节点上配置Slave节点信息在Master上启动Hadoop集群在Master上启动Zookeeper集群(这里)在Master上启动Hbase集群(这里)...

2018-03-15 14:16:42

阅读数 239

评论数 0

转载 Spark(二): 内存管理

Spark 作为一个以擅长内存计算为优势的计算引擎,内存管理方案是其非常重要的模块; Spark的内存可以大体归为两类:execution和storage,前者包括shuffles、joins、sorts和aggregations所需内存,后者包括cache和节点间数据传输所需内存;在Spark ...

2018-03-13 17:23:41

阅读数 138

评论数 0

转载 Spark(一): 基本架构及原理

 Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架,最初在2009年由加州大学伯克利分校的AMPLab开发,并于2010年成为Apache的开源项目之一,与Hadoop和Storm等其他大数据和MapReduce技术相比,Spark有如下优势:Spark提供了一个全面、...

2018-03-13 17:22:57

阅读数 71

评论数 0

原创 Spring Boot使用jasypt处理加密问题

1.背景现代互联网充斥着各种攻击、病毒、钓鱼、欺诈等手段,层出不穷。对于一个公司而已最基本的财富无非是代码和数据,“配置属性加密”的应用场景假设如果攻击者通过某些手段拿到部分敏感代码或配置,甚至是全部源代码和配置时,我们的基础设施账号依然不被泄漏。当然手段多种多种多样,比如以某台中毒的内网机器为肉...

2018-03-13 13:29:16

阅读数 9971

评论数 0

原创 hbase shell基本操作

hbase操做hbase web操作hbase shell 基本操作1建表具体命令2建表后查看表describe3清空表truncate lmj_test4删除表5修改表结构先disable后enable6对表中记录的操作4种行操作7表操作权限8命名空间hbase原理及时间戳管理介绍hbase 表...

2018-03-09 16:34:14

阅读数 204

评论数 0

原创 Spring-Boot SpringKafka consumer

该项目是使用的技术:SpringBoot + SpringKafka + Maven 先看pom.xml文件中引入的依赖: <?xml version="1.0" encoding="UTF-8"?> <project xmlns=&...

2018-03-09 16:00:33

阅读数 6189

评论数 3

原创 Spring-Boot SpringKafka producer

SpringBoot整合SpringKafka实现生产者简代码实现 该项目是使用的技术:SpringBoot + SpringKafka + Maven 先看pom.xml文件中引入的依赖 <?xml version="1.0" encoding=&quo...

2018-03-09 15:51:16

阅读数 135

评论数 0

原创 Hbase 集群安装及配置

docker先使用Docker构建一个Zookeeper运行环境的镜像,之前做过Hadoop的集群,我做过一个镜像(这里)然后使用这个镜像分别启动3个容器:1个Master节点,两个Slave节点在Master节点上配置Slave节点信息在Master上启动Hadoop集群在Master上启动Zo...

2018-03-09 14:32:12

阅读数 372

评论数 0

原创 docker Zookeeper 集群安装与配置

  docker 先使用Docker构建一个Zookeeper运行环境的镜像,之前做过Hadoop的集群,我做过一个镜像(这里) 然后使用这个镜像分别启动3个容器:1个Master节点,两个Slave节点 在Master节点上配置Slave节点信息 在Master上启动Zookeeper...

2018-03-06 17:11:03

阅读数 395

评论数 0

原创 Hive

神马是Hive?  Hive 是建立在 Hadoop 基础上的数据仓库基础构架。它提供了一系列的工具,可以用来进行数据提取转化加载(ETL),这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL  查询语言,称为 QL ,它允许熟悉 SQL  的...

2018-03-06 17:09:23

阅读数 117

评论数 0

提示
确定要删除当前文章?
取消 删除