- 博客(50)
- 资源 (1)
- 收藏
- 关注
原创 springboot启动停止脚本
#!/bin/bashset -e# 堆设置JAVA_OPTS="-Xms2g -Xmx4g -XX:MetaspaceSize=512m -XX:MaxMetaspaceSize=512m"# GC 设置JAVA_OPTS="$JAVA_OPTS -XX:+UseParNewGC -XX:MaxTenuringThreshold=9 -XX:+UseConcMarkSweepGC -XX:+UseCMSInitiatingOccupancyOnly -XX:+ScavengeBefor
2021-05-27 11:51:36 230
原创 提高接口并发-异步处理任务
任务处理类package com.deepblue.aivideo.biz.thread;import com.deepblue.aivideo.api.entiy.DeviceAbilityGroupRelationDto;import com.deepblue.aivideo.api.entiy.PersonFaceLog;import com.deepblue.aivideo.biz.service.PersonFaceLogService;import com.deepblue.aivi
2021-05-27 11:48:01 374
原创 elasticsearch源码-构建
elasticsearch源码-构建预安装jdk1.下载代码git clone -b v6.1.1 https://github.com/elastic/elasticsearch.git2.编译./gradlew assemble3.导入IDEA./gradlew idea4.解压创建用于ES读取配置的目录创建一个目录,此处命名为eshome,用于ES从中加载模块、读取配置、写入数据和日志,可以将gradle编译打包的软件包解压,然后将config、modules、plugins
2021-05-13 16:01:02 417
原创 动态扩展Rest接口地址,动态卸载Rest接口
动态扩展Rest接口地址,动态卸载Rest接口import org.apache.commons.io.FilenameUtils;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.beans.factory.config.BeanDefinition;import org.springframework.context.ApplicationContext;impor
2021-04-09 11:39:55 361
原创 zooekeeper集群安装
zooekeeper集群安装基础信息主机1 : zk1 192.168.1.110主机2 : zk2 192.168.1.111主机3 : zk3 192.168.1.112安装路径、home/web安装步骤:1.安装配置zooekeeper集群(在上)1.1解压tar -zxvf zookeeper-3.4.5.tar.gz -C /home/web1.2修改配置cd /home/web/zookeeper-3.4.5/conf/cp zoo_sample.cfg zoo.cfg
2021-04-01 14:14:55 96
原创 LXC安装使用遇到的问题!
lxc-create: error while loading shared libraries: liblxc.so.1: cannot open shared object file: No such file or directory遇见这个错误说明没找到liblxc.so.1文件1:查看/usr/local/lib下是否有这个库文件,有的话说明已经安装了liblxc,没有说明没有安装2:若没有安装就下载个安装包,安装好,再测试3:若已经安装,有两个方法解决A:在/etc/ld.so.c
2021-04-01 14:07:00 556
原创 Java从最后一行开始读取文本
package com.kuaifa.dianxiaomao.web.controller;import java.io.FileNotFoundException;import java.io.IOException;import java.io.RandomAccessFile;/*** http://bbs.csdn.net/topics/190181198* 从最后一行开始读取*/public class FromEndRF { /** * * @par
2021-04-01 13:55:49 374
原创 elasticsearch踩坑
##elasticsearch踩坑分布式安装elasticsearch(4台服务器),使用logstash和kibana进行可视化查询和统计。测试入库因为数据不规范导致es中的数据不理想,想要清空es中的数据,并重新将处理过后的数据入库。重新入库只要配置好logstash脚本中的日志目录就可以,但是清空es数据出现了一些问题。版本:es2.1.1 旧版本(为了使用简单的head插件,后期应该更新,并使用新插件,相信功能效果会更好。)root权限下删除es目录下的data文件夹,连同文件夹本身一同删除
2021-04-01 13:54:21 185
原创 在CentOS上安装Linux Container
1. 准备工作先把Linux Container依赖的一些软件包给装上,并启动相关的服务。其中git将在第二步中用来下载源代码。yum install -y automake gcc libvirt libcgroup git service cgconfig start service libvirtd start 2. 从github中下载Linux Container的代码git clone https://github.com/jewes/lxc.git 3. 编译(
2021-04-01 13:49:34 442
原创 nacos学习笔记(一)
nacos学习笔记1.概览官网地址:https://nacos.io/zh-cn/docs/what-is-nacos.htmlNacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集,帮助您快速实现动态服务发现、服务配置、服务元数据及流量管理。Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。 Nacos 是构建以“服务”为中心的现代应用架构 (例如微服务范式、云原生范式) 的服务基础设施。2.使用1. 踩坑纪录(版本)有时候版本不一致,会导致服务注册
2020-09-21 20:46:53 410
原创 pipeline持续集成到k8s集群
pipeline持续集成到k8s集群安装jenkins1.创建命名空间kubectl create namespace jenkinskubectl get namespace2.vim jenkins.yamlapiVersion: apps/v1kind: Deploymentmetadata: name: jenkins-deploymentspec: replicas: 1 selector: matchLabels: app: jenkins
2020-09-20 14:17:19 350
原创 docker nexus新版本安装密码查看 私服配置
nexus私服配置说明1.docker启动nexusdocker pull sonatype/nexus32.启动docker run -d -p 8081:8081 --name nexus3 -v /home/nexus/nexus-data:/nexus-data --restart=always sonatype/nexus33.查看admin 密码docker exec -it 容器ID /bin/bashcd /opt/sonatype/sonatype-work/nexus3
2020-09-17 20:56:35 926
原创 快速生成类注释 方法注释 接口文档(一键生成)
规则注意点: 良好的java doc 注释能生成更好的文档1:插件如何生成属性备注 ,通过获得字段备注中的注释/** * 年龄*/private Integer age;2:插件如何生成接口名称,通过接口上的注释,或者引用上的 注释 /** * 通过ID查询 * @param id ID主键 * @return SysDept 部门信息 */ @GetMapping("/{id}") public R<SysDept>...
2020-09-16 22:12:43 1821
原创 关于SpringOauth2理解
关于SpringOauth2理解OAuth2.0说明官网学习地址:https://docs.spring.io/spring-security-oauth2-boot/docs/2.2.0.RELEASE/reference/html5/#boot-features-security-oauth2-single-sign-on角色在 OAuth2.0 中,有如下角色:① Authorization Server:认证服务器,用于认证用户。如果客户端认证通过,则发放访问资源服务器的令牌
2020-09-15 21:34:17 540 2
原创 Docker学习及DockerMaven插件学习
docker学习###docker 常见命令docker ps 哪些在运行的容器docker ps -a 查询容器包含未在运行的docker images 查询镜像docker rm imageId 删除容器docker rmi imageId 删除指定的镜像,如果有容器,先删除容器docker run 根据镜像启动容器docker build构建镜像docker start 启动镜像docker stop 停止镜像docker login 登陆私服docker pull 拉取服
2020-09-15 17:16:34 445 1
原创 mongodb最佳实践
关于安全为MongoDB集群启用认证鉴权为MongoDB集群启用认证鉴权mongo服务器在默认安装下不启用鉴权。这意味着每个人都可以直接连接到mongod实例并执行任意数据库操作。建议按照文档启用鉴权http://docs.mongoing.com/manual-zh/tutorial/enable-authentication.html为不同用户分配不同的角色权限Mongo...
2020-09-15 10:34:15 386
原创 HBase 统计表中数据量
启动hbase shell进去hbase客户端所在服务器,cd hbase客户端路径cd /usr/local/services/hbase/alihbase-2.0.0启动hbase shell./bin/hbase shell找到要统计的表名hbase(main):001:0> list假设表名为 'foo'执行RowC...
2020-09-15 10:34:02 7111
原创 mongodb订单分片优化方案
——持续更新中1. 背景说明目前因业务量激增,系统已将订单存储从原有的mysql迁至新的mongo集群,在试运营过程中,主要遇到以下问题:单机磁盘资源瓶颈,目前单表已经占用20g 单机读写能力瓶颈,读能力可以在复制集里加 secondary 节点来扩展,但CPU、内存或者网卡等资源遭遇瓶颈,导致读写能力无法扩展我们目前已经是3主3从的mongocluster,因上线时间较短,订单表...
2020-09-15 10:33:50 472
原创 本地编译测试RocketMQ 步骤记录总结
我本来是要压测rocket的性能做预研呢,想看看文档,于是顺便下了源码,想看看源码,于是顺便就在本地运行启来了。。。于是做了个总结1-下载源码git地址:https://github.com/apache/rocketmq下载无话导入maven项目无话项目结构如下:各个模块的作用在readme文档中有详细的描写。2-运行项目2.1 编译在BUILDING文...
2020-09-15 10:33:38 419
原创 rocket压测效果
1 前言 消息中心在模块解耦和消息转发的解决方案中被重度依赖。为降低系统复杂度,应尽量使用单一的消息中心解决方案,在MQTT和RocketMq的技术选型中,不确定RocketMq的topic和tag是否存在上限会影响系统性能,因此,针对tag数量对系统性能影响之问题,作此预研方案。2 硬件环境 作用 IP 配置 ...
2020-09-15 10:33:27 331
原创 SpringCloud与SOFA RPC性能对比
1 前言SpringCloudSpringCloud是由XX提供的一系列框架的有序集合,如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等,它利用 Spring Boot 的开发便利性巧妙地简化了分布式系统基础设施的开发,可以用Spring Boot 的开发风格做到一键启动和部署。官网介绍:https://springcloud.cc/SOFA RPCScalab...
2020-09-15 10:33:12 1625
原创 注册中心(eureka)与客户端配置实例
注册中心server: port: 8761spring: application: name: ${project.name}-${server.port}eureka: instance: #使用IP注册到eureka,这样服务间相互调用时就使用IP了 prefer-ip-address: true #手动指定注册IP(默认为本机...
2020-09-15 10:32:27 461
原创 Druid常见问题
数据进行GroupBy时聚合数量大从而导致报错https://www.cnblogs.com/yinghun/p/9224701.htmlAttachments:image2019-2-27_10-16-32.pngimage2019-2-27_10-42-43.png
2020-09-15 10:31:21 220
原创 Flink集群
三个JobManager实例的集群图解conf/flink-conf.yaml划重点high-availability: zookeeperhigh-availability.storageDir: hdfs://master:9000/flink/ha/high-availability.zookeeper.quorum: localhost:2181...
2020-09-15 10:30:56 366
原创 Hadoop Hive Spark Metabase集成
###################################本文全部为单节点部署配置,不涉及任何集群。###################################前提安装JDK1.8配置ssh免密登录mongoDB导出CSV格式的数据文件mongoexport导出文件格式支持csv和json,不同的是csv格式必须显示的指定要导出的字段...
2020-09-15 10:30:13 1088
原创 数组 desc 从大到小排序
private class LargerNumberComparator implements Comparator<String> { @Override public int compare(String a, String b) { String order1 = a + b; String orde...
2020-03-26 11:36:08 818
翻译 leetcode刷题
编写一个 SQL 查询来实现分数排名。如果两个分数相同,则两个分数排名(Rank)相同。请注意,平分后的下一个名次应该是下一个连续的整数值。换句话说,名次之间不应该有“间隔”。SELECT Score, (SELECT count(DISTINCT score) FROM Scores WHERE score >= s.score) AS Rank FROM Scores s OR...
2020-03-26 11:12:58 108
原创 钉钉告警模版
package com.mamcharge.integrate.core.exception.handler;import cn.snowheart.dingtalk.robot.starter.client.DingTalkRobotClient;import cn.snowheart.dingtalk.robot.starter.entity.MarkdownMessage;...
2020-03-25 16:20:55 1430
原创 文件服务实例工厂实现方案
// todo 代码可以优化,根据配置文件来.1.3版本中优化// @Bean// @ConditionalOnProperty(value = "ossclient.active",havingValue = "dfs")// public IOssService dfs() {// return xxx;// }获取活跃的文件服务实...
2019-12-31 10:36:48 129
原创 Spring boot自动装载(源码解析)
过几天公司培训,我这边整理了下PPT。顺便写了点代码,我放GitHub上了Springboot 的基本认识 对于 spring 框架,我们接触得比较多的应该是 spring mvc、 和 spring。而 spring 的核心在于 IOC(控制反转)和 DI (依赖注入)。而这些框架在使用的过程中会需要配置大量 的 xml,或者需要做很多繁琐的配置。 springboot 框...
2019-09-21 16:21:51 474
原创 流量copy,线下回放
简介goreplay 是一个开源工具,抓取生产环境流量,并使用真实流量持续测试系统。它使用raw-socket 抓取系统流量,并根据指定的url ,将流量进行转发。使用依赖如果你只是为了测试,可以使用gor file-server :8000 快速启动一个文件服务器,用来测试安装可以到https://github.com/buger/gor/relea...
2019-09-19 17:19:54 520
原创 JVM 垃圾回收从入门到放弃01--引用计数法
1.什么是垃圾回收程序的运行必然需要申请内存资源,无效的对象资源如果不及时处理就会一直占有内存 资源,最终将导致内存溢出,所以对内存资源回收变得十分重要。这个垃圾就是不被引入的对象占用的内存!2.java中的垃圾回收有了垃圾回收机制后,程序员只需要关心内存的申请即可,内存的释放由系统自动识别 完成。 换句话说,自动的垃圾回收的算法就会变得非常重要了,如果因为算法的不合理,导致 内存资源...
2019-08-23 17:18:27 193
原创 SQL开发flink推荐sylph,还有AthenaX
1.个人推荐sylph 人不多,但是回复2.AthenaX 没有联系方式,只能自己看源码值得推荐的这2个的单元测试都非常多
2019-08-23 16:51:27 1008
原创 sylph使用
快速入门下面将以StreamSql为实例,一步步地搭建出一个 分布式流计算应用,让你能快速的入门 SYLPH。StreamSql是完全通过类sql来描述整个流计算的过程。主要需要描述: 数据源如何接入、如何计算、如何输出到外部存储; 例如计算每分钟的pv; 每5秒更新一次最近一分钟的uv。demo1下面例子演示将kafka topicTP_A_1,TP_A_2的数据实时写入m...
2019-08-23 16:24:07 567
原创 sylph安装以及遇到的坑
1.下载代码git clone https://github.com/harbby/sylph.git#还有一种已经编译好的 下载地址https://github.com/harbby/sylph/releases2.编译编译sylph需要使用Gradle并需要Java 8.请确保您的JAVA_HOME环境为java8这地方需要科学上网。。。。要不然有的JAR down不下来...
2019-08-23 16:12:37 1309 4
原创 sylph是什么
SYLPH 是一个用于实时流计算的平台,核心是通过工作流描述构建分布式流计算应用程序。,SYLPH是一套完整的解决方案,主要包括:开发工具:webUI, 定义streamSql或streamETl任务 运行时:基于spark2.x及flink1.5+, 依赖hdfs和yarn pipline插件扩展:java8, 按需实现source,transform,sink 基础运维:在web...
2019-08-23 15:42:56 1017
转载 JVM1.7和1.8内存对比(转载)
jdk1.7的堆内存模型:1.Young (新生代)新生代 分为三部分。Eden区(new 的对象)和两个大小相同的Survivior区(某一时刻,只有一个被使用),另外一个,当Eden区满了,GC就会将存活的对象移动到空闲的Survivor区,根据JVM的策略,在经过几次垃圾收集后,依然存活在Survivor区的对象,将移动到Tenured区(老年代)2.Tenured(老年代)...
2019-08-20 17:22:24 799
原创 JVM参数说明
1.JVM三种参数类型vm 参数类型分为三类,分别是:标准参数 -help -version-X 数 非标准参数) -Xint -Xcomp-XX 数(使用率较高) -XX:newSize -XX:+UseSerialGC2.JVM启动参数解析JVM启动参数共分为三类;其一是标准参数(-),所有的J...
2019-08-20 17:16:06 209
原创 ES部署+x-pack破解教程+kibana
1.JDK#下载rpm包rpm -ivh jdk-8u144-linux-x64.rpm #配置环境变量cat >> /etc/profile << EOFexport JAVA_HOME=/usr/java/jdk1.8.0_144export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools...
2019-08-20 16:14:44 3074 1
sylph-0.6.0-alpha3-bin.tgz
2019-08-23
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人