- 博客(281)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 spark监控streamingListener使用与监控告警
Spark-steaming监控设计与验证方案 created by fangchangtan | 2020/2/24原创不易，谢绝白嫖，好的话就点个赞吧!1总览1.1参考文献：对spark steaming运行中的批处理过程的监控https://blog.csdn.net/qq475781638/art...
2020-03-09 21:37:21
1926
原创 安装elasticalert配置验证文档
docker 安装、配置、验证ElasticAlert created by fangchangtan | 2020/2/241.elastalert的场景用途 elastalert组件作为elk中日志关键词的告警组件。基本的流程是，通过elk日志获取程序发出的不间断的心跳、错误日志关键词ERROR抓取等 ，获得对程序的健康状态和稳定性的监控告警。2.安装elast...
2020-03-09 21:22:38
2286
原创 redis导入导出工具-redis-dump,centos7安装使用
redis导入导出工具-redis-dump,centos7安装使用在centos7上安装redis的备份工具redi-dump注意事项：因为多数系统自带的ruby版本是2.0.0的版本，但是redis-dump需要2.2.2以上的版本支持。redis-dump使用ruby语言编写的。直接安装的话，就会提升版本过低。需要跟高的2.2.2版本以上的支持。具体的命令如下：安装 redi...
2020-02-27 14:59:44
3137
转载 为什么synchronized无法禁止指令重排，却能保证有序性？
转发：https://www.toutiao.com/i6795075486847336963/为什么synchronized无法禁止指令重排，却能保证有序性？据说这位读者前面的很多问题会的都还可以，属于那种可过可不过的类型的，面试官出了最后一道题，就是回答的满意就可以给Offer，回答的不好就不让过的意思。那么这道题到底应该如何回答呢？首先我们要分析下这道题，不得不说这个面试官还是有一定...
2020-02-23 11:25:49
513
原创 elasticsearch的知识点归纳
es的基本概念：索引、类型、文档；倒排索引的原理；elasticsearch集群节点、分片；对es的写过程（写入【重要】、删除、更新）、读过程（重要）；es中搜索中涉及的算法；...
2020-02-11 22:04:03
196
转载 Elasticsearch关键知识点总结
Elasticsearch，在笔记本上写下了如下记录：反向索引又叫倒排索引，是根据文章内容中的关键字建立索引。搜索引擎原理就是建立反向索引。Elasticsearch 在 Lucene 的基础上进行封装，实现了分布式搜索引擎。Elasticsearch 中的索引、类型和文档的概念比较重要，类似于 MySQL 中的数据库、表和行。Elasticsearch 也是 Master-slave...
2020-02-10 11:19:55
354
原创 Spark streaming动态调整资源-调研报告
Spark streaming动态调整资源调研报告一、需求背景:我们希望spark streaming根据不同时间段的数据量不同（例如高峰期和低谷期），自动调整spark的计算资源（包含CPU和memory大小）。从而，可以在高峰期自动增加计算资源以提升处理能力，在数据量低谷时候自动缩减所需资源量，减少资源浪费。二、 调研情况：2.1 spark on mesos的资源伸缩原理spark...
2020-02-10 09:53:29
615
原创 elk消费kafka数据延迟过大的问题
elk消费kafka数据延迟过大的问题1.问题现象表述：当前elk作为日志系统消费kafka日志数据有很大的延迟，即elk的消费kafka中日志的速度（200条/s）远远低于maplearning生产日志的速度（平均3000条/s）（吐出的日志topic：log_trialproducetion）；导致从kibana中查询最新的es日志数据的时间远远低于当前时间，在实际生产环境或【预上线】...
2020-01-29 17:41:49
4990
原创 sonarqube中 项目名称 问题
关于使用sonarqube中的注意事项（1）如果项目中的名称不是你想要的名称 图1 两个tms项目，将tms改为CSS-TMS注意修改代码中的工程项目名称即可（2）如果想要设置同一个项目在sonarqube中分别显示两栏如图1所示,只要在打包的时候，idea中terminal中键入如下即可：F:\bigdata\gitlab-workspace\CM-TMS&g...
2020-01-14 14:47:16
3114
2
原创 SonarQube + Maven分析代码质量
SonarQube + Maven分析代码质量1.1. sonarqube简介SonarQube是个开源的代码质量管理平台，可以通过多种工具和维度对代码质量进行分析，部分功能还支持可视化，对于代码缺陷一目了然。SonarQube比较开放，支持通过插件扩展功能。支持众多计算机语言，比如 java, C#, go，C/C++, PL/SQL, Cobol, JavaScrip, Groovy 等。...
2020-01-13 14:10:24
591
原创 docker下es的堆内存设置
由于需要增大es的内存，从1g到2gdocker下es的堆内存设置网上搜到的是这个但是不生效啊，后期使用如下:(若是在dcos云平台上使用的)提示注意：不能加等号=符号；并且不能双引号""。特此记一下。...
2020-01-09 10:59:21
3207
转载 在VMware中设置CentOS7的网络
在VMware中设置CentOS7的网络https://www.linuxidc.com/Linux/2017-07/145845.htm
2019-12-30 15:11:47
162
原创 记一次spark中task卡顿引发的血案
记一次spark中task卡顿引发的血案前言提要：（1）当前spark采用粗粒度的执行方式，资源申请都是一次性的完成；不存在后期申请不到资源的情况；（2）数据量很小，每秒100条左右，基本不存在数据倾斜的问题，但是执行的业务流程很复杂；(3)采用spark on mesos的组粒度模式运行1.问题描述：2019年12月24日ML处理30个文件时间很异常超过10h；xx中部分t...
2019-12-27 14:54:29
3609
原创 (executor 1 exited caused by one of the running tasks) Reason: Executor heartbeat timed out after
WARN TaskSetManager: Lost task 44.0 in stage 1368.0 (TID 17283, 172.19.32.66, executor 1): ExecutorLostFailure (executor 1 exited caused by one of the running tasks) Reason: Executor heartbeat timed o...
2019-12-26 20:06:15
3558
1
转载 14 ，java 操作 s3 ( 详细教程 )
14 ，java 操作 s3 ( 详细教程 )https://blog.csdn.net/qq_34319644/article/details/101072107ceph s3 对象的上传和删除(JAVA demo)https://blog.csdn.net/yangkang1122/article/details/100095868...
2019-12-13 13:54:01
767
转载 漫画：如何用Zookeeper实现分布式锁？
漫画：如何用Zookeeper实现分布式锁？漫画：如何用Zookeeper实现分布式锁？ 程序员BUG 2019-11-19 10:00:00 作者：小灰 来源：关注程序员小灰如何用Zookeeper来实现分布式锁呢？这一次我们会为大家详细讲述。什么是临时顺序节点？让我们来回顾一下Zookeeper节点的概念：Zookeeper的数据存储结构就像一棵树，这棵树由节点组成，这种节点叫做Znode...
2019-12-02 00:11:34
251
转载 Java 程序员常用资源工具集合（建议收藏）
转载：https://www.toutiao.com/i6764747345151132172/搜索资源网站工具类思维导图工具文档笔记平台搜索资源网站学习技术过程我们经常需要使用搜索引擎来检索资料，国内常用的也就是某度了。当然有条件的话，搜索引擎首先还是推荐使用 Google，如果没办法使用，可以使用以下几个作为备用：BingBing 国际版：https://cn.bing.com/比某度好用...
2019-12-01 14:38:15
283
原创 java批量创建删除Kafka的topic
java批量创建删除Kafka的topic一、前言参考资料：Kafka 0.11客户端集群管理工具AdminClienthttps://blog.csdn.net/u012501054/article/details/805943742.批量创建删除Kafka的topic2.集群管理工具AdminClient （新版本kafka）较为新的版本：Kafka 0.11以上版本上测试的,新的...
2019-11-29 10:57:18
1294
原创 DCOS搭建zookeeper集群搭建
dcos上zookeeper集群搭建参考地址：https://my.oschina.net/dslcode/blog/19447751.在docs上构建zookeeper服务的json脚本{ "id": "/component-test-space/env-test/msg-queue", "groups": [{ "id": "/component-test-space/env-t...
2019-11-27 19:09:40
305
2
原创 JedisConnectionException Connection Reset
在使用redis的过程常见错误总结1.JedisConnectionException Connection Reset参考这边文章：Connection reset原因分析和解决方案https://blog.csdn.net/cwclw/article/details/527971311.1问题描述Exception in thread "main" redis.clients....
2019-11-22 15:57:38
6608
2
转载 为什么要用Redis？Redis为什么这么快？
2019.9.16更新：增加了对缓存雪崩，缓存穿透，缓存击穿的描述。并附上本人对Redis单线程，多线程实现的理解。评论区有一些争执，但是大家都很友善，比如这个单线程是否能让Redis更快尤其是大家争论的重点。（以下单线程仅指Redis负责存取这块的线程只有一个，而非Redis中只有一个进程）我先给个我的结论，单线程的Redis在瓶颈是cpu的io时（这不是大多数应用的实际应用场景），确实速度会比...
2019-11-19 23:11:11
483
原创 redis-stat监控
redis-stat监控一、参考文献：聊聊redis的监控工具https://www.jianshu.com/p/831bf6c8af4f二、搭建redis-stat1.监控单个redis实例docker run --name redis-stat -p 8080:63790 -d insready/redis-stat --server 192.168.99.100:63791 5 ...
2019-11-14 09:04:42
385
转载 淘宝双11，亿级流量高并发是怎么抗住的？看完这篇你就明白了
转载自：https://www.toutiao.com/i6757580992090735117/前言双 11 即将来临，本文以设计淘宝网的后台架构为例，介绍从一百个并发到千万级并发情况下服务端的架构的演进过程同时列举出每个演进阶段会遇到的相关技术，让大家对架构的演进有一个整体的认知。文章最后汇总了一些架构设计的原则。基本概念在介绍架构之前，为了避免部分读者对架构设计中的一些概念不了解，下面对...
2019-11-10 22:18:16
364
原创 docker下postgis12+postgis3.0搭建
docker下postgis12+postgis3.0搭建1.目的本来想找一个postgis3.0的镜像，由于postgis3.0是最新的版本（2019/10/20发布正式版），网上镜像很少，写出来放置自己忘了。2.过程geographica/postgishttps://hub.docker.com/r/geographica/postgisVersionsThis Docker...
2019-11-07 15:16:37
2644
2
原创 docker搭建postgresql9.4主从同步复制集群
docker搭建postgresql9.4主从同步复制集群参考文章：Docker + PostgreSQL 主从环境搭建 https://yq.aliyun.com/articles/641773postgresql9.5主从复制部署文档 https://blog.51cto.com/wn2100/2238996PostgreSQL建立H...
2019-10-29 09:40:09
1484
原创 docker搭建postgresql9.4主从同步复制集群
docker搭建postgresql9.4主从同步复制集群参考文章：Docker + PostgreSQL 主从环境搭建 https://yq.aliyun.com/articles/641773postgresql9.5主从复制部署文档 https://blog.51cto.com/wn2100/2238996PostgreSQL建立H...
2019-10-28 15:49:57
1737
7
原创 com.mongodb.MongoSocketReadException: Prematurely reached end of stream
异常情况描述com.mongodb.MongoSocketReadException: Prematurely reached end of stream一、异常发生场景当使用mongodb的一主一从一备节点构建的集群，使用java代码连接集群时候，测试主节点master和备用节点slave切换的时候；2019-10-23 20:21:05,972 WARN [org.mongodb.dri...
2019-10-24 17:24:34
4883
原创 docker搭建mongodb高可用集群
docker搭建mongodb集群参考资料：基于 Docker 的 MongoDB 主从集群http://www.imooc.com/article/details/id/258885mongodb: docker-compose一主两从一仲裁副本集模式https://blog.csdn.net/weixin_34117522/article/details/94609770...
2019-10-23 21:04:01
3019
2
原创 Redis5.0集群 ： JedisClusterMaxAttemptsException: No more cluster attempts left
问题3 ：JedisClusterMaxAttemptsException: No more cluster attempts left.测试redis5.0 cluster集群高可用性的时候，当杀死master节点之后，java连接rediscluster的代码出现如下错误！具体参见我的博客，这个问题很典型，欢迎解决的朋友们给出解决的办法！https://blog.csdn.net/fct...
2019-10-21 16:03:59
5040
原创 Redis Cluster 集群模式搭建
Redis集群模式搭建1.集群模式选型redis集群模式的选型https://dl.lenses.stream/d/?id=550f16d9-14ee-458e-97d8-8ecfcbb695e9https://dl.lenses.stream/d/?id=ac2a62f3-1fa5-41ac-95ec-fcbb33eb37fd2.文献参考搭建redis5.0集群https://ww...
2019-10-16 16:30:30
225
原创 使用java代码连接RedisCluster集群实现
Redis集群学习须知1.redis集群的常见搭建方式：划分大概是5种方式2.Redis集群的原理和机制3.学会搭建一个Redis集群4.测试搭建好的集群：连接测试，高可用性测试已经建设好的集群类似如下方式：采用对key做hash后，分到不同区段的slot的方式，同时master节点宕机，slave节点切换顶替。实现redis高负载和高可用。3.1 使用java代码连接RedisC...
2019-10-16 10:00:55
9106
6
原创 掌握Docker高频操作
掌握Docker高频操作以Docker为代表的轻量级容器技术的角度来审视完全虚拟化技术，虚拟机系统既浪费资源又难以管理，更重要的是还不安全。让Docker为我们工作没有Docker镜像，Docker什么也干不了，幸运的是，Docker默认有Docker Hub这个镜像仓库可用。简而言之，让Docker工作并不复杂，只需搜索并选择合适的Docker镜像，然后pull下来并基于该镜像创建和运行...
2019-09-30 17:44:48
234
转载 小米面试题
转载：https://www.aboutyun.com/thread-25626-1-1.html小米面试题1、java面向对象的三大特征是什么？2、jvm垃圾回收机制3、进程和线程的区别：4、排序算法你会多少种，时间复杂度和稳定性是怎样的？怎样判定稳定性？5、HashMap的底层原理：6、红黑树的原理：7、hive的原理：8、zookeeper的原理，数据一致性怎样保证9、j...
2019-09-28 22:26:31
308
原创 使用docker搭建kafka-lenses
今天发现一个好东西！一键搭建kafka+zookeeper+kafka监控；kafka-lenses实现一键搭建kafka+zookeeper+kafka监控一、问题背景常规的搭建方法，需要分别搭建kafka服务、zookeeper服务，然后是监控kafka的服务，例如kafka-eagle.kafka-Monitor等监控组件。使用docker搭建kafka-lenses之后，完全都拥...
2019-09-24 16:43:31
1500
原创 jira-confluence-openfire集成、迁移与消息提醒
jira-confluence安装与关联一、目的根本目的：该总做隶属于“高效团队计划”工作一部分，jira作为任务分派与任务节点控制系统软件，confluence作为文档、图片等资源共享的wiki计划的一部分（部门知识库），openfire作为jira插件，完成即时消息通知功能；一、安装与连接：1.安装jira参考：https://www.jianshu.com/p/b95ceabd3e...
2019-09-12 18:52:20
968
原创 docker使用步骤
docker使用步骤：会学习的人，都是站在巨人的肩膀上。此处，找到几篇docker好文章，分享一下！1.基础篇Docker(一)：Docker入门教程Docker(二)：Dockerfile 使用介绍Docker(三)：Dockerfile 命令详解ps加上这个：docker常用命令入门https://www.runoob.com/docker/docker-hello-world....
2019-09-09 19:40:28
236
原创 redis-dump导入导出Redis数据
使用redis-dump导入导出Redis数据一、环境说明1.我们是在docker虚拟机中搭建的redis，所以此处设计的导入导出分为两种情况：导入导出Redis中单个solt中数据；（目前我操作的是这种，可以指定要导出哪一个solt）导入导出所有solt中所有数据（是上面的特殊情况）2.redis库的备份与还原（这个暂时不讨论）涉及Redis持久化和相应命令（dump.rdb）...
2019-09-06 15:25:39
1091
原创 docker安装nexus3.0配置、使用
Nexus创建Maven私服说明参考文献;https://blog.csdn.net/trustyourself1/article/details/80423569https://www.jb51.net/article/152942.htm一、私服介绍私服是指私有服务器，是架设在局域网的一种特殊的远程仓库，目的是代理远程仓库及部署第三方构建。有了私服之后，当 Maven 需要下载构件时，...
2019-09-04 18:49:53
4194
原创 Docker安装最新nexus3.18初始账号密码登录失败问题
Docker安装最新nexus3.18初始账号密码登录失败问题参考文章：https://www.cnblogs.com/wbl001/p/11154828.html安装常规的docker搭建nexus过程启动容器之后是这样，其实还没有登录进入（之前刚开始我以为我已经不需要登录了，已经进入nexus操作界面了），使用账号admin和密码admin123登录，发现登录失败。后期参考文章http...
2019-09-04 15:16:28
2144
原创 个别task导致spark任务整体变慢的问题总结
个别task导致spark任务整体变慢的问题总结问题：个别task速度慢而拖慢整体任务的问题现象描述：1.stage1阶段中的kafka的receiver接受kafka中不同partiton中的相同批次中拉取的记录条数record不同，导致同一个批次的不同task处理时间偏长(处理任务时间倾斜)这个要结合业务进行优化（是否可以对kafka分区中对key做hash分区的时候离散化？）2....
2019-08-23 18:59:11
3796
aws-general.pdf
2019-07-12
下一代消息中间件--pulsar
2018-10-20
Spark基本原理与设计思想
2018-10-20
kafka+flume+kafka中问题.pdf
2019-07-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人