自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(38)
  • 资源 (1)

原创 docker nexus新版本安装密码查看 私服配置

nexus私服配置说明1.docker启动nexusdocker pull sonatype/nexus32.启动docker run -d -p 8081:8081 --name nexus3 -v /home/nexus/nexus-data:/nexus-data --restart=always sonatype/nexus33.查看admin 密码docker exec -it 容器ID /bin/bashcd /opt/sonatype/sonatype-work/nexus3

2020-09-17 20:56:35 16

原创 快速生成类注释 方法注释 接口文档(一键生成)

规则注意点: 良好的java doc 注释能生成更好的文档1:插件如何生成属性备注 ,通过获得字段备注中的注释/** * 年龄*/private Integer age;2:插件如何生成接口名称,通过接口上的注释,或者引用上的 注释 /** * 通过ID查询 * @param id ID主键 * @return SysDept 部门信息 */ @GetMapping("/{id}") public R<SysDept>...

2020-09-16 22:12:43 16

原创 关于SpringOauth2理解

关于SpringOauth2理解OAuth2.0说明官网学习地址:https://docs.spring.io/spring-security-oauth2-boot/docs/2.2.0.RELEASE/reference/html5/#boot-features-security-oauth2-single-sign-on角色在 OAuth2.0 中,有如下角色:① Authorization Server:认证服务器,用于认证用户。如果客户端认证通过,则发放访问资源服务器的令牌

2020-09-15 21:34:17 19 2

原创 Docker学习及DockerMaven插件学习

docker学习###docker 常见命令docker ps 哪些在运行的容器docker ps -a 查询容器包含未在运行的docker images 查询镜像docker rm imageId 删除容器docker rmi imageId 删除指定的镜像,如果有容器,先删除容器docker run 根据镜像启动容器docker build构建镜像docker start 启动镜像docker stop 停止镜像docker login 登陆私服docker pull 拉取服

2020-09-15 17:16:34 21

原创 mongodb最佳实践

关于安全为MongoDB集群启用认证鉴权为MongoDB集群启用认证鉴权mongo服务器在默认安装下不启用鉴权。这意味着每个人都可以直接连接到mongod实例并执行任意数据库操作。建议按照文档启用鉴权http://docs.mongoing.com/manual-zh/tutorial/enable-authentication.html为不同用户分配不同的角色权限Mongo...

2020-09-15 10:34:15 13

原创 HBase 统计表中数据量

启动hbase shell进去hbase客户端所在服务器,cd hbase客户端路径cd /usr/local/services/hbase/alihbase-2.0.0启动hbase shell./bin/hbase shell找到要统计的表名hbase(main):001:0> list假设表名为 'foo'执行RowC...

2020-09-15 10:34:02 4

原创 mongodb订单分片优化方案

——持续更新中1. 背景说明目前因业务量激增,系统已将订单存储从原有的mysql迁至新的mongo集群,在试运营过程中,主要遇到以下问题:单机磁盘资源瓶颈,目前单表已经占用20g 单机读写能力瓶颈,读能力可以在复制集里加 secondary 节点来扩展,但CPU、内存或者网卡等资源遭遇瓶颈,导致读写能力无法扩展我们目前已经是3主3从的mongocluster,因上线时间较短,订单表...

2020-09-15 10:33:50 13

原创 本地编译测试RocketMQ 步骤记录总结

我本来是要压测rocket的性能做预研呢,想看看文档,于是顺便下了源码,想看看源码,于是顺便就在本地运行启来了。。。于是做了个总结1-下载源码git地址:https://github.com/apache/rocketmq下载无话导入maven项目无话项目结构如下:各个模块的作用在readme文档中有详细的描写。2-运行项目2.1 编译在BUILDING文...

2020-09-15 10:33:38 7

原创 rocket压测效果

1 前言 消息中心在模块解耦和消息转发的解决方案中被重度依赖。为降低系统复杂度,应尽量使用单一的消息中心解决方案,在MQTT和RocketMq的技术选型中,不确定RocketMq的topic和tag是否存在上限会影响系统性能,因此,针对tag数量对系统性能影响之问题,作此预研方案。2 硬件环境 作用 IP 配置 ...

2020-09-15 10:33:27 1

原创 SpringCloud与SOFA RPC性能对比

1 前言SpringCloudSpringCloud是由XX提供的一系列框架的有序集合,如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等,它利用 Spring Boot 的开发便利性巧妙地简化了分布式系统基础设施的开发,可以用Spring Boot 的开发风格做到一键启动和部署。官网介绍:https://springcloud.cc/SOFA RPCScalab...

2020-09-15 10:33:12 1

原创 注册中心(eureka)与客户端配置实例

注册中心server: port: 8761spring: application: name: ${project.name}-${server.port}eureka: instance: #使用IP注册到eureka,这样服务间相互调用时就使用IP了 prefer-ip-address: true #手动指定注册IP(默认为本机...

2020-09-15 10:32:27 6

原创 Druid常见问题

数据进行GroupBy时聚合数量大从而导致报错https://www.cnblogs.com/yinghun/p/9224701.htmlAttachments:image2019-2-27_10-16-32.pngimage2019-2-27_10-42-43.png

2020-09-15 10:31:21 1

原创 Flink集群

三个JobManager实例的集群图解conf/flink-conf.yaml划重点high-availability: zookeeperhigh-availability.storageDir: hdfs://master:9000/flink/ha/high-availability.zookeeper.quorum: localhost:2181...

2020-09-15 10:30:56 9

原创 Hadoop Hive Spark Metabase集成

###################################本文全部为单节点部署配置,不涉及任何集群。###################################前提安装JDK1.8配置ssh免密登录mongoDB导出CSV格式的数据文件mongoexport导出文件格式支持csv和json,不同的是csv格式必须显示的指定要导出的字段...

2020-09-15 10:30:13 23

原创 数组 desc 从大到小排序

private class LargerNumberComparator implements Comparator<String> { @Override public int compare(String a, String b) { String order1 = a + b; String orde...

2020-03-26 11:36:08 107

翻译 leetcode刷题

编写一个 SQL 查询来实现分数排名。如果两个分数相同,则两个分数排名(Rank)相同。请注意,平分后的下一个名次应该是下一个连续的整数值。换句话说,名次之间不应该有“间隔”。SELECT Score, (SELECT count(DISTINCT score) FROM Scores WHERE score >= s.score) AS Rank FROM Scores s OR...

2020-03-26 11:12:58 34

原创 钉钉告警模版

package com.mamcharge.integrate.core.exception.handler;import cn.snowheart.dingtalk.robot.starter.client.DingTalkRobotClient;import cn.snowheart.dingtalk.robot.starter.entity.MarkdownMessage;...

2020-03-25 16:20:55 226

原创 文件服务实例工厂实现方案

// todo 代码可以优化,根据配置文件来.1.3版本中优化// @Bean// @ConditionalOnProperty(value = "ossclient.active",havingValue = "dfs")// public IOssService dfs() {// return xxx;// }获取活跃的文件服务实...

2019-12-31 10:36:48 30

原创 Spring boot自动装载(源码解析)

过几天公司培训,我这边整理了下PPT。顺便写了点代码,我放GitHub上了Springboot 的基本认识 对于 spring 框架,我们接触得比较多的应该是 spring mvc、 和 spring。而 spring 的核心在于 IOC(控制反转)和 DI (依赖注入)。而这些框架在使用的过程中会需要配置大量 的 xml,或者需要做很多繁琐的配置。 springboot 框...

2019-09-21 16:21:51 184

原创 流量copy,线下回放

简介goreplay 是一个开源工具,抓取生产环境流量,并使用真实流量持续测试系统。它使用raw-socket 抓取系统流量,并根据指定的url ,将流量进行转发。使用依赖如果你只是为了测试,可以使用gor file-server :8000 快速启动一个文件服务器,用来测试安装可以到https://github.com/buger/gor/relea...

2019-09-19 17:19:54 170

原创 JVM 垃圾回收从入门到放弃01--引用计数法

1.什么是垃圾回收程序的运行必然需要申请内存资源,无效的对象资源如果不及时处理就会一直占有内存 资源,最终将导致内存溢出,所以对内存资源回收变得十分重要。这个垃圾就是不被引入的对象占用的内存!2.java中的垃圾回收有了垃圾回收机制后,程序员只需要关心内存的申请即可,内存的释放由系统自动识别 完成。 换句话说,自动的垃圾回收的算法就会变得非常重要了,如果因为算法的不合理,导致 内存资源...

2019-08-23 17:18:27 58

原创 SQL开发flink推荐sylph,还有AthenaX

1.个人推荐sylph 人不多,但是回复2.AthenaX 没有联系方式,只能自己看源码值得推荐的这2个的单元测试都非常多

2019-08-23 16:51:27 605

原创 sylph使用

快速入门下面将以StreamSql为实例,一步步地搭建出一个 分布式流计算应用,让你能快速的入门 SYLPH。StreamSql是完全通过类sql来描述整个流计算的过程。主要需要描述: 数据源如何接入、如何计算、如何输出到外部存储; 例如计算每分钟的pv; 每5秒更新一次最近一分钟的uv。demo1下面例子演示将kafka topicTP_A_1,TP_A_2的数据实时写入m...

2019-08-23 16:24:07 231

原创 sylph安装以及遇到的坑

1.下载代码git clone https://github.com/harbby/sylph.git#还有一种已经编译好的 下载地址https://github.com/harbby/sylph/releases2.编译编译sylph需要使用Gradle并需要Java 8.请确保您的JAVA_HOME环境为java8这地方需要科学上网。。。。要不然有的JAR down不下来...

2019-08-23 16:12:37 694 4

原创 sylph是什么

SYLPH 是一个用于实时流计算的平台,核心是通过工作流描述构建分布式流计算应用程序。,SYLPH是一套完整的解决方案,主要包括:开发工具:webUI, 定义streamSql或streamETl任务 运行时:基于spark2.x及flink1.5+, 依赖hdfs和yarn pipline插件扩展:java8, 按需实现source,transform,sink 基础运维:在web...

2019-08-23 15:42:56 138

转载 JVM1.7和1.8内存对比(转载)

jdk1.7的堆内存模型:1.Young (新生代)新生代 分为三部分。Eden区(new 的对象)和两个大小相同的Survivior区(某一时刻,只有一个被使用),另外一个,当Eden区满了,GC就会将存活的对象移动到空闲的Survivor区,根据JVM的策略,在经过几次垃圾收集后,依然存活在Survivor区的对象,将移动到Tenured区(老年代)2.Tenured(老年代)...

2019-08-20 17:22:24 241

原创 JVM参数说明

​​​​​​1.JVM三种参数类型vm 参数类型分为三类,分别是:标准参数 -help -version-X 数 非标准参数) -Xint -Xcomp-XX 数(使用率较高) -XX:newSize -XX:+UseSerialGC2.JVM启动参数解析JVM启动参数共分为三类;其一是标准参数(-),所有的J...

2019-08-20 17:16:06 26

原创 ES部署+x-pack破解教程+kibana

1.JDK#下载rpm包rpm -ivh jdk-8u144-linux-x64.rpm #配置环境变量cat >> /etc/profile << EOFexport JAVA_HOME=/usr/java/jdk1.8.0_144export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools...

2019-08-20 16:14:44 752

原创 统计一张银行卡总消费额JAVA

package com.mamcharge.integrate.core;import java.math.BigDecimal;import java.util.ArrayList;import java.util.HashMap;import java.util.Iterator;import java.util.List;import java.util.Map;impor...

2019-08-09 18:34:02 118

原创 扩展注册中心,实现事件发布监控服务上下线

package io.choerodon.eureka.event;import com.netflix.appinfo.InstanceInfo;import io.choerodon.eureka.event.endpoint.EurekaEventService;import org.slf4j.Logger;import org.slf4j.LoggerFactory;imp...

2019-08-06 16:20:18 49

原创 KafkaAppender 使用的问题

KafkaAppender 核心发送信息代码 private void tryAppend(final LogEvent event) throws ExecutionException, InterruptedException, TimeoutException { final Layout<? extends Serializable> layo...

2019-08-06 16:16:07 784

原创 javaConfig实现log4j2 Kafka打印以及故障转移

package com.mamcharge.starter.log;/** * @author lottery * @ClassName BaseLogEnum * @desc 日志基础类 * @Date 2018/11/3 13:39 * @Version 1.0 **/public class BaseLogEnum { private String log...

2019-08-06 15:51:36 279

原创 log用的用一个配置,打印时间有些方法差8小时问题

时间计算里严谨出现TimeZone tz = TimeZone.getTimeZone(“ETC/GMT-8″);TimeZone.setDefault(tz);会覆盖jdk原来的时间 导致获取时间不准确

2018-12-04 18:48:50 965

原创 springboot 跨域问题

package com.jeespring.common.config;import org.springframework.context.annotation.Configuration;import org.springframework.web.servlet.config.annotation.CorsRegistry; import org.springframework....

2018-09-30 11:55:14 54

原创 从头搭建自己的日志分析系统 ----------Logstash 使用以及解析数据(3)

 安装Logstash1 Logstash介绍Logstash 是开源的服务器端数据处理管道,能够同时 从多个来源采集数据、转换数据,然后将数据发送到您最喜欢的 “存储库” 中。(我们的存储库当然是 Elasticsearch。)2.安装 jdkLogstash需要Java 8.不支持Java 9。使用 官方Oracle发行版或OpenJDK等开源发行版。要检查Java版本...

2018-08-21 23:11:19 155

原创 SpringMvc扩展自定义注解实现web加密解密 (4)----测试工程

                                               测试代码1.把定义的2个类加入到spring中package com.caigaoqinng.tech.config;import com.caigaoqing.tech.common.support.RequestBodyWrapFactoryBean;import com.caigao...

2018-08-17 23:34:13 428

原创 SpringMvc扩展自定义注解实现web加密解密 (3)----传递Map问题

.需求在项目中spring web服务为外部APP提供rest接口,为了 安全考虑 一般会加入自己的验证,常规 的签名+数据加密, 当然一个好的架构师或者负责人会在项目初期会考虑到的问题现老代码一般是在@Controller层每个request的开始和结尾处做的加密解密操作,这样的代码重复度很高,而且不利于更好的利用Spring框架的HttpMessageConverter达到java丰富类型...

2018-08-17 23:12:10 408

原创 SpringMvc扩展自定义注解实现web加密解密 不侵入业务代码(2)

SpringMvc扩展自定义注解实现web解密 不侵入业务代码(2)1.需求在项目中spring web服务为外部APP提供rest接口,为了 安全考虑 一般会加入自己的验证,常规 的签名+数据加密, 当然一个好的架构师或者负责人会在项目初期会考虑到的问题现老代码一般是在@Controller层每个request的开始和结尾处做的加密解密操作,这样的代码重复度很高,而且不利于更好的利用Sp...

2018-08-16 23:04:21 391

sylph-0.6.0-alpha3-bin.tgz

编译sylph需要使用Gradle并需要Java 8.请确保您的JAVA_HOME环境为java8 这地方需要科学上网。。。。要不然有的JAR down不下来 ./gradlew clean assemble install

2019-08-23

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除