自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

fct2001140269的博客

如今你的气质里,藏着你走过的路,读过的书和爱过的人。” ——《卡萨布兰卡》...

原创 confluence迁移,与jira同步账户遇到的权限问题

一、问题场景 需要将外网中的confluence和jira全部迁移到内网中,即在内网中安装jira和confluence,激活,并迁移外网数据到内网中; 二、问题描述: 在将confluence中,将jira的账户同步到confluence中的时候,出现同步失败的问题。 三 解决方法: 第一步:...

2020-05-14 16:31:51 33 0

原创 docker安装redis-dump工具

离线安装redis-dump工具 1 场景和问题 1.1 redis-dump工具作用 ​ redis-dump可以将redis数据库中的各个slot中的数据导出到文本中,方便迁移备份数据; 1.1 为什么采用redis-dump容器的方式 ​ 使用普通的物理机直接安装redis-du...

2020-04-11 15:45:45 52 0

原创 安装redis-dump命令

安装redis-dump命令 1.安装redis-dump执行的shell脚本如下: #!/bin/bash #首先到tmp下,用来存放下载的安装文件 cd /tmp mkdir rvm cd rvm # 开始安装RVM gpg --keyserver hkp://keys.gnupg.net...

2020-03-25 21:29:01 51 0

原创 大数据组件监控体系构建

大数据监控体系构建 基于开源xxx_exporter+promethues+grafana的构建监控系统 1.概况 其中,exporter一般是使用来采集各种组件运行时的指标数据; promethues构建指标时序数据库; grafana构建指标显示面板; 目前已有各种docker容器方便的构建各...

2020-03-20 22:11:23 93 0

原创 Kafka保证消息不丢失

Kafka保证消息不丢失 kafka保证消息不丢失,需要从三个方面考虑: 生产者端消息不丢失 kafka服务器broker本身消息不丢失 消费者端消息不丢失 这篇文章对最新发送kafka数据丢失的情况做一个总结。 1.为什么要出这样一个文档 首先,部门很多人都kafka的使用不太懂,主要集中才...

2020-03-12 22:25:37 107 0

原创 spark监控streamingListener使用与监控告警

Spark-steaming监控设计与验证方案 ​ created by fangchangtan | 2020/2/24 原创不易,谢绝白嫖,好的话就点个赞吧! 1总览 1.1参考文献: 对spark steaming...

2020-03-09 21:37:21 165 0

原创 安装elasticalert配置验证文档

docker 安装、配置、验证ElasticAlert ​ created by fangchangtan | 2020/2/24 1.elastalert的场景用途 ​ elastalert组件作为elk中日志关键词的告警组件。基本的流程是,通过elk日志获取程序发出的不间断...

2020-03-09 21:22:38 214 0

原创 redis导入导出工具-redis-dump,centos7安装使用

redis导入导出工具-redis-dump,centos7安装使用 在centos7上安装redis的备份工具redi-dump 注意事项: 因为多数系统自带的ruby版本是2.0.0的版本,但是redis-dump需要2.2.2以上的版本支持。redis-dump使用ruby语言编写的。 直...

2020-02-27 14:59:44 299 0

转载 为什么synchronized无法禁止指令重排,却能保证有序性?

转发:https://www.toutiao.com/i6795075486847336963/ 为什么synchronized无法禁止指令重排,却能保证有序性? 据说这位读者前面的很多问题会的都还可以,属于那种可过可不过的类型的,面试官出了最后一道题,就是回答的满意就可以给Offer,回答的不好...

2020-02-23 11:25:49 78 0

原创 elasticsearch的知识点归纳

es的基本概念:索引、类型、文档; 倒排索引的原理; elasticsearch集群节点、分片; 对es的写过程(写入【重要】、删除、更新)、读过程(重要); es中搜索中涉及的算法; ...

2020-02-11 22:04:03 37 0

转载 Elasticsearch关键知识点总结

Elasticsearch,在笔记本上写下了如下记录: 反向索引又叫倒排索引,是根据文章内容中的关键字建立索引。 搜索引擎原理就是建立反向索引。 Elasticsearch 在 Lucene 的基础上进行封装,实现了分布式搜索引擎。 Elasticsearch 中的索引、类型和文档的概念比较重要...

2020-02-10 11:19:55 104 0

原创 Spark streaming动态调整资源-调研报告

Spark streaming动态调整资源调研报告 一、需求背景: 我们希望spark streaming根据不同时间段的数据量不同(例如高峰期和低谷期),自动调整spark的计算资源(包含CPU和memory大小)。从而,可以在高峰期自动增加计算资源以提升处理能力,在数据量低谷时候自动缩减所需资...

2020-02-10 09:53:29 70 0

原创 elk消费kafka数据延迟过大的问题

elk消费kafka数据延迟过大的问题 1.问题现象表述: 当前elk作为日志系统消费kafka日志数据有很大的延迟,即elk的消费kafka中日志的速度(200条/s)远 远低于maplearning生产日志的速度(平均3000条/s)(吐出的日志topic:log_trialproduceti...

2020-01-29 17:41:49 442 0

原创 sonarqube中 项目名称 问题

关于使用sonarqube中的注意事项 (1)如果项目中的名称不是你想要的名称 ​ 图1 两个tms项目,将tms改为CSS-TMS 注意修改代码中的工程项目名称即可 (2)如果想要设置同一个项目在sonarqube中分别显示两栏 如图1所示,只要在打包的时候,idea中te...

2020-01-14 14:47:16 312 1

原创 SonarQube + Maven分析代码质量

SonarQube + Maven分析代码质量 1.1. sonarqube简介 SonarQube是个开源的代码质量管理平台,可以通过多种工具和维度对代码质量进行分析,部分功能还支持可视化,对于代码缺陷一目了然。SonarQube比较开放,支持通过插件扩展功能。支持众多计算机语言,比如 ja...

2020-01-13 14:10:24 56 0

原创 docker下es的堆内存设置

由于需要增大es的内存,从1g到2g docker下es的堆内存设置 网上搜到的是这个 但是不生效啊,后期使用如下:(若是在dcos云平台上使用的) 提示注意:不能加等号=符号;并且不能双引号""。 特此记一下。 ...

2020-01-09 10:59:21 366 0

转载 在VMware中设置CentOS7的网络

在VMware中设置CentOS7的网络 https://www.linuxidc.com/Linux/2017-07/145845.htm

2019-12-30 15:11:47 20 0

原创 记一次spark中task卡顿引发的血案

记一次spark中task卡顿引发的血案 前言提要: (1)当前spark采用粗粒度的执行方式,资源申请都是一次性的完成;不存在后期申请不到资源的情况; (2)数据量很小,每秒100条左右,基本不存在数据倾斜的问题,但是执行的业务流程很复杂; (3)采用spark on mesos的组粒度...

2019-12-27 14:54:29 128 0

原创 (executor 1 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after

WARN TaskSetManager: Lost task 44.0 in stage 1368.0 (TID 17283, 172.19.32.66, executor 1): ExecutorLostFailure (executor 1 exited caused by one of th...

2019-12-26 20:06:15 196 0

转载 14 ,java 操作 s3 ( 详细教程 )

14 ,java 操作 s3 ( 详细教程 ) https://blog.csdn.net/qq_34319644/article/details/101072107 ceph s3 对象的上传和删除(JAVA demo) https://blog.csdn.net/yangkang1122/ar...

2019-12-13 13:54:01 26 0

转载 漫画:如何用Zookeeper实现分布式锁?

漫画:如何用Zookeeper实现分布式锁? 漫画:如何用Zookeeper实现分布式锁? 程序员BUG 2019-11-19 10:00:00 作者:小灰 来源:关注程序员小灰如何用Zookeeper来实现分布式锁呢?这一次我们会为大家详细讲述。什么是临时顺序节点?让我们来回顾一下Zookee...

2019-12-02 00:11:34 18 0

转载 Java 程序员常用资源工具集合(建议收藏)

转载:https://www.toutiao.com/i6764747345151132172/ 搜索资源网站工具类思维导图工具文档笔记平台搜索资源网站学习技术过程我们经常需要使用搜索引擎来检索资料,国内常用的也就是某度了。当然有条件的话,搜索引擎首先还是推荐使用 Google,如果没办法使用,...

2019-12-01 14:38:15 22 0

原创 java批量创建删除Kafka的topic

java批量创建删除Kafka的topic 一、前言 参考资料:Kafka 0.11客户端集群管理工具AdminClient https://blog.csdn.net/u012501054/article/details/80594374 2.批量创建删除Kafka的topic 2.集群管理工具...

2019-11-29 10:57:18 155 0

原创 DCOS搭建zookeeper集群搭建

dcos上zookeeper集群搭建 参考地址:https://my.oschina.net/dslcode/blog/1944775 1.在docs上构建zookeeper服务的json脚本 { "id": "/component-test-space/env-t...

2019-11-27 19:09:40 40 0

原创 JedisConnectionException Connection Reset

在使用redis的过程常见错误总结 1.JedisConnectionException Connection Reset 参考这边文章: Connection reset原因分析和解决方案 https://blog.csdn.net/cwclw/article/details/5279713...

2019-11-22 15:57:38 160 0

转载 为什么要用Redis?Redis为什么这么快?

2019.9.16更新:增加了对缓存雪崩,缓存穿透,缓存击穿的描述。并附上本人对Redis单线程,多线程实现的理解。评论区有一些争执,但是大家都很友善,比如这个单线程是否能让Redis更快尤其是大家争论的重点。(以下单线程仅指Redis负责存取这块的线程只有一个,而非Redis中只有一个进程)我先...

2019-11-19 23:11:11 51 0

原创 redis-stat监控

redis-stat监控 一、参考文献: 聊聊redis的监控工具 https://www.jianshu.com/p/831bf6c8af4f 二、搭建redis-stat 1.监控单个redis实例 docker run --name redis-stat -p 8080:63790 -d i...

2019-11-14 09:04:42 41 0

转载 淘宝双11,亿级流量高并发是怎么抗住的?看完这篇你就明白了

转载自:https://www.toutiao.com/i6757580992090735117/ 前言双 11 即将来临,本文以设计淘宝网的后台架构为例,介绍从一百个并发到千万级并发情况下服务端的架构的演进过程同时列举出每个演进阶段会遇到的相关技术,让大家对架构的演进有一个整体的认知。文章最后...

2019-11-10 22:18:16 87 0

原创 docker下postgis12+postgis3.0搭建

docker下postgis12+postgis3.0搭建 1.目的 本来想找一个postgis3.0的镜像,由于postgis3.0是最新的版本(2019/10/20发布正式版),网上镜像很少,写出来放置自己忘了。 2.过程 geographica/postgis https://hub.doc...

2019-11-07 15:16:37 527 2

原创 docker搭建postgresql9.4主从同步复制集群

docker搭建postgresql9.4主从同步复制集群 参考文章: Docker + PostgreSQL 主从环境搭建 ​ https://yq.aliyun.com/articles/641773 postgresql9.5主从复制部署文档 ​ ...

2019-10-29 09:40:09 66 0

原创 docker搭建postgresql9.4主从同步复制集群

docker搭建postgresql9.4主从同步复制集群 参考文章: Docker + PostgreSQL 主从环境搭建 ​ https://yq.aliyun.com/articles/641773 postgresql9.5主从复制部署文档 ​ ...

2019-10-28 15:49:57 349 0

原创 com.mongodb.MongoSocketReadException: Prematurely reached end of stream

异常情况描述com.mongodb.MongoSocketReadException: Prematurely reached end of stream 一、异常发生场景 当使用mongodb的一主一从一备节点构建的集群,使用java代码连接集群时候,测试主节点master和备用节点slave切...

2019-10-24 17:24:34 249 0

原创 docker搭建mongodb高可用集群

docker搭建mongodb集群 参考资料: 基于 Docker 的 MongoDB 主从集群 http://www.imooc.com/article/details/id/258885 mongodb: docker-compose一主两从一仲裁副本集模式 https://blog....

2019-10-23 21:04:01 486 2

原创 Redis5.0集群 : JedisClusterMaxAttemptsException: No more cluster attempts left

问题3 :JedisClusterMaxAttemptsException: No more cluster attempts left. 测试redis5.0 cluster集群高可用性的时候,当杀死master节点之后,java连接rediscluster的代码出现如下错误! 具体参见我的博客...

2019-10-21 16:03:59 999 0

原创 Redis Cluster 集群模式搭建

Redis集群模式搭建 1.集群模式选型 redis集群模式的选型 https://dl.lenses.stream/d/?id=550f16d9-14ee-458e-97d8-8ecfcbb695e9 https://dl.lenses.stream/d/?id=ac2a62f3-1fa5-41...

2019-10-16 16:30:30 40 0

原创 使用java代码连接RedisCluster集群实现

Redis集群学习须知 1.redis集群的常见搭建方式:划分大概是5种方式 2.Redis集群的原理和机制 3.学会搭建一个Redis集群 4.测试搭建好的集群:连接测试,高可用性测试 已经建设好的集群类似如下方式:采用对key做hash后,分到不同区段的slot的方式,同时mas...

2019-10-16 10:00:55 669 0

原创 掌握Docker高频操作

掌握Docker高频操作 以Docker为代表的轻量级容器技术的角度来审视完全虚拟化技术,虚拟机系统既浪费资源又难以管理,更重要的是还不安全。 让Docker为我们工作 没有Docker镜像,Docker什么也干不了,幸运的是,Docker默认有Docker Hub这个镜像仓库可用。 简而言之,让...

2019-09-30 17:44:48 28 0

转载 小米面试题

转载:https://www.aboutyun.com/thread-25626-1-1.html 小米面试题 1、java面向对象的三大特征是什么? 2、jvm垃圾回收机制 3、进程和线程的区别: 4、排序算法你会多少种,时间复杂度和稳定性是怎样的?怎样判定稳定性? 5、HashMap的底层原理...

2019-09-28 22:26:31 32 0

原创 使用docker搭建kafka-lenses

今天发现一个好东西!一键搭建kafka+zookeeper+kafka监控; kafka-lenses实现一键搭建kafka+zookeeper+kafka监控 一、问题背景 常规的搭建方法,需要分别搭建kafka服务、zookeeper服务,然后是监控kafka的服务,例如kafka-...

2019-09-24 16:43:31 768 0

原创 jira-confluence-openfire集成、迁移与消息提醒

jira-confluence安装与关联 一、目的 根本目的:该总做隶属于“高效团队计划”工作一部分,jira作为任务分派与任务节点控制系统软件,confluence作为文档、图片等资源共享的wiki计划的一部分(部门知识库),openfire作为jira插件,完成即时消息通知功能; 一、安...

2019-09-12 18:52:20 100 0

提示
确定要删除当前文章?
取消 删除