![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工具
fct2001140269
大数据架构、地理信息系统
展开
-
将指定的groupid相关kafka的topic中的offset更新到latest的最新位置
将指定的groupid相关kafka的topic中的offset更新到latest的最新位置如果使用java api的方式,将offset更新到特定位置(此处为最新的数据位置),详见下面的代码;package mykafka.gainoffset;import org.apache.kafka.clients.consumer.KafkaConsumer;import org.apache.kafka.common.TopicPartition;import java.util.ArrayLi原创 2020-10-10 14:46:35 · 854 阅读 · 1 评论 -
shell更新kafka的offset到最新的位置
更新kafka的offset到最新的位置1.进入docker容器,用来执行kafka相关的更新offset的命令;docker ps | grep kafka | awk '{print $1}'2.执行如下命令,用来将执行kafka集群中的groupId的offset更新为最新;/opt/kafka/bin/kafka-consumer-groups.sh --bootstrap-server 172.19.32.116:9192 --group fang-groupid-105 --res原创 2020-10-10 09:16:29 · 1199 阅读 · 0 评论 -
docker部署ftp服务器
docker部署ftp服务器1.背景 FTP是一种传输协议,FTP服务器可以有客户端通过FTP协议访问,上传或下载文档。有什么用,其实就是很多人公用存储资料。2.拉取构建ftp服务器查看官网提供的ftp说明https://hub.docker.com/r/fauria/vsftpd使用最新的fauria/vsftpd镜像即可。官网提供的搭建建议:(生产环境中可用,已经绑定账户,挂载目录,启动了 FTP 的主动和被动模式)docker run -d -v /my/data/dire原创 2020-09-30 11:06:28 · 1116 阅读 · 0 评论 -
confluence迁移,与jira同步账户遇到的权限问题
一、问题场景需要将外网中的confluence和jira全部迁移到内网中,即在内网中安装jira和confluence,激活,并迁移外网数据到内网中;二、问题描述:在将confluence中,将jira的账户同步到confluence中的时候,出现同步失败的问题。三 解决方法:第一步:(1)在jira中要使用管理员用户设置允许连接的用户目录,(以往随机创建的非管理员用户是不行的);(2) 同时设置对应的允许连接的ip。可以设置多个,这个允许ip也很关键!同时在confluence中用户原创 2020-05-14 16:31:51 · 1341 阅读 · 0 评论 -
安装redis-dump命令
安装redis-dump命令1.安装redis-dump执行的shell脚本如下:#!/bin/bash#首先到tmp下,用来存放下载的安装文件cd /tmpmkdir rvmcd rvm# 开始安装RVMgpg --keyserver hkp://keys.gnupg.net --recv-keys 409B6B1796C275462A1703113804BB82D39DC0...原创 2020-03-25 21:29:01 · 517 阅读 · 0 评论 -
大数据组件监控体系构建
大数据监控体系构建基于开源xxx_exporter+promethues+grafana的构建监控系统1.概况其中,exporter一般是使用来采集各种组件运行时的指标数据;promethues构建指标时序数据库;grafana构建指标显示面板;目前已有各种docker容器方便的构建各种监控体系;2.详细构建过程其中我的promethues的配置如下:#全局配置信息:glob...原创 2020-03-20 22:11:23 · 1055 阅读 · 0 评论 -
spark监控streamingListener使用与监控告警
Spark-steaming监控设计与验证方案 created by fangchangtan | 2020/2/24原创不易,谢绝白嫖,好的话就点个赞吧!1总览1.1参考文献:对spark steaming运行中的批处理过程的监控https://blog.csdn.net/qq475781638/art...原创 2020-03-09 21:37:21 · 1765 阅读 · 0 评论 -
安装elasticalert配置验证文档
docker 安装、配置、验证ElasticAlert created by fangchangtan | 2020/2/241.elastalert的场景用途 elastalert组件作为elk中日志关键词的告警组件。基本的流程是,通过elk日志获取程序发出的不间断的心跳、错误日志关键词ERROR抓取等 ,获得对程序的健康状态和稳定性的监控告警。2.安装elast...原创 2020-03-09 21:22:38 · 2065 阅读 · 0 评论 -
redis导入导出工具-redis-dump,centos7安装使用
redis导入导出工具-redis-dump,centos7安装使用在centos7上安装redis的备份工具redi-dump注意事项:因为多数系统自带的ruby版本是2.0.0的版本,但是redis-dump需要2.2.2以上的版本支持。redis-dump使用ruby语言编写的。直接安装的话,就会提升版本过低。需要跟高的2.2.2版本以上的支持。具体的命令如下:安装 redi...原创 2020-02-27 14:59:44 · 3011 阅读 · 0 评论 -
sonarqube中 项目名称 问题
关于使用sonarqube中的注意事项(1)如果项目中的名称不是你想要的名称 图1 两个tms项目,将tms改为CSS-TMS注意修改代码中的工程项目名称即可(2)如果想要设置同一个项目在sonarqube中分别显示两栏如图1所示,只要在打包的时候,idea中terminal中键入如下即可:F:\bigdata\gitlab-workspace\CM-TMS&g...原创 2020-01-14 14:47:16 · 2715 阅读 · 1 评论 -
SonarQube + Maven分析代码质量
SonarQube + Maven分析代码质量1.1. sonarqube简介SonarQube是个开源的代码质量管理平台,可以通过多种工具和维度对代码质量进行分析,部分功能还支持可视化,对于代码缺陷一目了然。SonarQube比较开放,支持通过插件扩展功能。支持众多计算机语言,比如 java, C#, go,C/C++, PL/SQL, Cobol, JavaScrip, Groovy 等。...原创 2020-01-13 14:10:24 · 483 阅读 · 0 评论 -
在VMware中设置CentOS7的网络
在VMware中设置CentOS7的网络https://www.linuxidc.com/Linux/2017-07/145845.htm转载 2019-12-30 15:11:47 · 125 阅读 · 0 评论 -
Java 程序员常用资源工具集合(建议收藏)
转载:https://www.toutiao.com/i6764747345151132172/搜索资源网站工具类思维导图工具文档笔记平台搜索资源网站学习技术过程我们经常需要使用搜索引擎来检索资料,国内常用的也就是某度了。当然有条件的话,搜索引擎首先还是推荐使用 Google,如果没办法使用,可以使用以下几个作为备用:BingBing 国际版:https://cn.bing.com/比某度好用...转载 2019-12-01 14:38:15 · 237 阅读 · 0 评论 -
java批量创建删除Kafka的topic
java批量创建删除Kafka的topic一、前言参考资料:Kafka 0.11客户端集群管理工具AdminClienthttps://blog.csdn.net/u012501054/article/details/805943742.批量创建删除Kafka的topic2.集群管理工具AdminClient (新版本kafka)较为新的版本:Kafka 0.11以上版本上测试的,新的...原创 2019-11-29 10:57:18 · 1214 阅读 · 0 评论 -
redis-stat监控
redis-stat监控一、参考文献:聊聊redis的监控工具https://www.jianshu.com/p/831bf6c8af4f二、搭建redis-stat1.监控单个redis实例docker run --name redis-stat -p 8080:63790 -d insready/redis-stat --server 192.168.99.100:63791 5 ...原创 2019-11-14 09:04:42 · 310 阅读 · 0 评论 -
idea中java: -source 1.5 中不支持 multi-catch语句 或不支持 lambda 表达式
在idea中出现如下错误Error:(27, 35) java: -source 1.5 中不支持 multi-catch 语句 (请使用 -source 7 或更高版本以启用 multi-catch 语句)Error:(26, 38) java: -source 1.5 中不支持 lambda 表达式 (请使用 -source 8 或更高版本以启用 lambda 表达式)在ide...原创 2018-11-23 13:50:19 · 5472 阅读 · 0 评论 -
打包Jar时候出现Invalid signature file digest for Manifest main
使用idea打包成jar上传运行时候出现以下错误:Exception in thread "main" java.lang.SecurityException: Invalid signature file digest for Manifest main attributes解决方法:(在linux命令行键入如下命令,xxx.jar是你的jar包)//将jar包中的META-INF/*...原创 2018-11-14 10:07:49 · 6162 阅读 · 0 评论 -
hbase建表shell脚本
hbase上执行的建表shell脚本,并指定压缩方式为SNAPPY压缩#!/bin/bash #source /etc/profile$HBASE_HOME/bin/hbase shell <<EOFcreate 'table1',{ NAME => 'data', COMPRESSION => 'SNAPPY' }create 'table2',{ NAME ...原创 2019-01-17 13:19:29 · 1070 阅读 · 0 评论 -
Docker安装最新nexus3.18初始账号密码登录失败问题
Docker安装最新nexus3.18初始账号密码登录失败问题参考文章:https://www.cnblogs.com/wbl001/p/11154828.html安装常规的docker搭建nexus过程启动容器之后是这样,其实还没有登录进入(之前刚开始我以为我已经不需要登录了,已经进入nexus操作界面了),使用账号admin和密码admin123登录,发现登录失败。后期参考文章http...原创 2019-09-04 15:16:28 · 2030 阅读 · 0 评论 -
docker安装nexus3.0配置、使用
Nexus创建Maven私服说明参考文献;https://blog.csdn.net/trustyourself1/article/details/80423569https://www.jb51.net/article/152942.htm一、私服介绍私服是指私有服务器,是架设在局域网的一种特殊的远程仓库,目的是代理远程仓库及部署第三方构建。有了私服之后,当 Maven 需要下载构件时,...原创 2019-09-04 18:49:53 · 4087 阅读 · 0 评论 -
jira-confluence-openfire集成、迁移与消息提醒
jira-confluence安装与关联一、目的根本目的:该总做隶属于“高效团队计划”工作一部分,jira作为任务分派与任务节点控制系统软件,confluence作为文档、图片等资源共享的wiki计划的一部分(部门知识库),openfire作为jira插件,完成即时消息通知功能;一、安装与连接:1.安装jira参考:https://www.jianshu.com/p/b95ceabd3e...原创 2019-09-12 18:52:20 · 812 阅读 · 0 评论 -
使用docker搭建kafka-lenses
今天发现一个好东西!一键搭建kafka+zookeeper+kafka监控;kafka-lenses实现一键搭建kafka+zookeeper+kafka监控一、问题背景常规的搭建方法,需要分别搭建kafka服务、zookeeper服务,然后是监控kafka的服务,例如kafka-eagle.kafka-Monitor等监控组件。使用docker搭建kafka-lenses之后,完全都拥...原创 2019-09-24 16:43:31 · 1397 阅读 · 0 评论 -
掌握Docker高频操作
掌握Docker高频操作以Docker为代表的轻量级容器技术的角度来审视完全虚拟化技术,虚拟机系统既浪费资源又难以管理,更重要的是还不安全。让Docker为我们工作没有Docker镜像,Docker什么也干不了,幸运的是,Docker默认有Docker Hub这个镜像仓库可用。简而言之,让Docker工作并不复杂,只需搜索并选择合适的Docker镜像,然后pull下来并基于该镜像创建和运行...原创 2019-09-30 17:44:48 · 187 阅读 · 0 评论 -
怎样让Intellij IDEA工程中输出日志信息
Intellij IDEA中使用log4j日志一、在pom.xml中添加依赖 &amp;lt;dependency&amp;gt; &amp;lt;groupId&amp;gt;log4j&amp;lt;/groupId&amp;gt; &amp;lt;artifactId&amp;gt;log4j&amp;lt;/art原创 2018-11-23 16:33:57 · 15207 阅读 · 2 评论