自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

扎克begod的专栏

书写有气质的代码,做有灵魂的设计。

  • 博客(156)
  • 资源 (14)
  • 论坛 (3)

原创 powermockito的使用技巧

当IT中有些依赖组件无法正常集成,需要mock支持测试,可以使用power mockito。特别注意: 当对一个对象进行powermockito,应该在prepare方法,统一mock这个对象。然后在其他方法,分别进行调用when,否则,多个方法内进行mock,会出错。比如有个 Service处于IT case的底层,普通的mock根本mock不进去,但我们又不能为了集...

2019-03-06 21:00:09 554

原创 junit使用

常用几个方法,assertTrue()、assertFalse()、assertEqual()、还有抛出的异常@Test(expected= 异常类.class)。还有几个常用注解,@Before、@BeforeClass、@After、@AfterClass、@PrepareForTest、@Test等。下面具体介绍,fail()用法。摘自//www.cnblogs.co...

2019-03-06 20:56:20 175

原创 linux命令

1、管道命令 : |这个 |竖杆就是管道。它的作用就是将前一个命令的输出,变成下一个命令的输入,仅此而已,veryeasy。比如,cat 1.txt | grep hello,这个的意思就是将 cat 1.txt 输出的内容,给grep hello命令。总的就是,显示输出1.txt的内容,并搜索查找是否hello。2、grep 命令 grep用来搜索文本内容。...

2019-03-06 20:55:15 89

原创 mysql忘记密码简洁的办法和远程连接mysql数据库命令

1、首先在root用户下,停止mysql服务。 sudoservice mysql stop2、跳过密码进入mysql sodomysqld --skip-grant-tables3、重新设置密码 新开一个client,普通用户即可。 直接用命令mysql 就可以进入mysql, 然后用这个命令修改mysql密码 update use...

2019-03-06 20:54:18 200

原创 echo命令和awk命令

echo用来输出内容,比如,echo -e ‘hello linux system\nmy name is bigboy.’。-e,表示若输出内容有特殊符号,则按特殊符号输出。上个命令的输出是:hello linux systemmy name is big boy.若没有-e,比如echo -e ‘hello linuxsystem\nmy name is big boy.’则把\n...

2019-03-06 20:53:19 1929

原创 kafka监控获取指定topic的消息总量

import kafka.api.PartitionOffsetRequestInfo;import kafka.common.TopicAndPartition;import kafka.javaapi.OffsetResponse;import kafka.javaapi.PartitionMetadata;import kafka.javaapi.TopicMetadata;im...

2019-03-06 20:51:47 8763 1

原创 ELK Stack - 插件X-Pack

安装安装 X-Pack 前必须安装 ES 和 Kibana ,我们使用的是 5.2.1 版本 集中式日志分析平台 - ELK Stack - 部署篇。X-Pack 我们也使用 5.2.1,我们来讲讲如何离线安装吧。Step1. 下载 X-Pack Zip 文件:https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-5.2.1....

2019-02-22 14:13:56 211

原创 Linux中各种 command not found问题解决

原因是环境变量没有配置好,这里一般有两种解决方法,第一,可以切换到root用户执行命令,第二种,就是配置用户的环境变量,其指令如下:export PATH=/usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin...

2019-02-14 18:31:03 20675 2

原创 ES线程池设置以及EsRejectedExcutionException排查

    每个Elasticsearch节点内部都维护着多个线程池,如index、search、get、bulk等,用户可以修改线程池的类型和大小,线程池默认大小跟CPU逻辑一致。一、查看当前线程组状态     curl -XGET 'http://localhost:9200/_nodes/stats?pretty'"thread_pool" : { "bulk" : { ...

2019-01-18 16:21:14 1456

转载 Java中的时间与时区__java

     转:https://yq.aliyun.com/ziliao/245667     摘要: 本文讲的是Java中的时间与时区__java, 0. 前言: 时间格式: //世界标准时间,其中T表示时分秒的开始(或者日期与时间的间隔),Z表示这是一个世界标准时间 2017-12-13T01:47:07.081Z //本地时间,也叫不含时区信息的时间。时间格式://世界标准时间,...

2019-01-11 14:21:53 1955

转载 Kafka Broker配置(0.10版)

转自:http://orchome.com/472基本配置如下:broker.id log.dirs zookeeper.connect下文将详细论述了主题级别配置和默认值。名称 描述 类型 默认 有效值 重要程度 zookeeper.connect zookeeper host string string     ...

2018-12-29 10:33:48 299 3

转载 JVM垃圾回收器 CMS和G1的区别

转自:https://www.cnblogs.com/rgever/p/9534857.htmlCMS:以获取最短回收停顿时间为目标的收集器,基于并发“标记清理”实现过程:1、初始标记:独占PUC,仅标记GCroots能直接关联的对象2、并发标记:可以和用户线程并行执行,标记所有可达对象3、重新标记:独占CPU(STW),对并发标记阶段用户线程运行产生的垃圾对象进行标记修正...

2018-12-25 17:18:50 1347

原创 bash: useradd: command not found如何解决

由于,‘su root’或者'sudo su'只改变root权限不改变环境变量,而‘su -root ’指令就可以。‘su -root’可以取得ROOT用户的权限和环境。所以需要再执行一项:su -即可解决。...

2018-12-25 11:42:51 1492

转载 Performance optimization for Apache Kafka - Brokers

转自:https://www.cloudkarafka.com/blog/2018-09-12-performance-optimization-apache-kafka-brokers-cloudkarafka.htmlThe Kafka Broker is the central part of Kafka. It receives and stores log messages unti...

2018-12-24 14:56:42 149

转载 httpclient http连接池示例

package connect.http.sink;import java.io.IOException;import java.io.InterruptedIOException;import java.io.UnsupportedEncodingException;import java.net.UnknownHostException;import java.util.Array...

2018-12-21 15:31:45 245

原创 elasticsearch 出现yellow 分片有unassigned现象原因

可以通过命令或url查询看到具体的原因: curl XGET 'http://ip:9200/_cat/shards?h=index,shard,prirep,state,unassigned.reason' | grep UNASSIGNED查询结果,最后一列就是原因:fxcl-2018-12-18 1 r UNASSIGNED NOD...

2018-12-19 18:35:19 1329

转载 XShell上传、下载文件

       在我们的项目开发中借助XShell,使用Linux命令sz可以很方便的将服务器上的文件下载到本地,使用rz命令则是把本地文件上传到服务器。        其中,对于sz和rz的理解与记忆我用了如下的方法(很多时候容易搞混):       sz中的s意为send(发送),告诉客户端,我(服务器)要发送文件 send to cilent,就等同于客户端在下载。        ...

2018-12-18 09:53:28 931

原创 Java RMI:rmi Connection refused to host: 127.0.0.1异常解决

       最近在尝试使用jmx exporter + prometheus + grafana 去监控kafka。其中在部署的时候,遇到了一些坑。我们采用的是比较复杂、不被推荐看好的httpserver方式部署。官方不推荐这样部署,但是我们认为,这种非侵入的采集方式非常灵活,好更新维护,对kafka影响降到最低。解耦的部署我们非常喜欢。效果很好。当中也踩到坑,就是httpserver形式,会有...

2018-12-17 19:09:38 1591

转载 Elasticsearch 5.X集群多节点角色分析

转自:https://blog.csdn.net/laoyang360/article/details/782904841、问题引出      ES5.X节点类型多了ingest节点类型。       针对3个节点、5个节点或更多节点的集群,如何配置节点角色才能使得系统性能最优呢? 2、ES2.X及之前版本节点角色概述3、ES5.X节点角色清单      由于其他几...

2018-12-17 14:09:43 170

转载 国内大神开源 Kafka 监控系统Eagle 使用教程

转自:https://www.cnblogs.com/smartloli/p/9371904.html1.概述       最近有同学留言反馈了使用Kafka监控工具Kafka Eagle的一些问题,这里笔者特意整理了这些问题。并且希望通过这篇博客来解答这些同学的在使用Kafka Eagle的时候遇到的一些困惑,同时也给出一些定位分析Kafka Eagle异常的时的解决办法。2.内容...

2018-12-07 18:00:53 2328

原创 __consumer_offest的副本因子

           __consumer_offest不受server.properties中num.partitions和default.replication.factor参数的制约。相反地,它的分区数和备份因子分别由offsets.topic.num.partitions和offsets.topic.replication.factor参数决定。这两个参数的默认值分别是50和1,表示该to...

2018-12-07 14:01:50 134

原创 kafka-manager安装采坑日志

     可以参考这个https://www.cnblogs.com/tonglin0325/p/8963114.html      但是也不一定可以成功。成功的,具体步骤:   1、先安装配置jdk,和sbt。jdk就不说了。说一下sbt这里有坑。      在官网http://www.scala-sbt.org/download.html,下载压缩包解压比较快和方便。 2、...

2018-12-04 19:34:42 346

原创 kafka各种监控指标

kafka1.0.X 官网采集的监控指标:http://kafka.apache.org/0110/documentation.html#monitoring### Kafka性能指标#### kafka.serverBrokerTopicMetrics,name=MessagesInPerSec: 每秒消息量BrokerTopicMetrics,name=BytesInPerSec:...

2018-11-30 14:01:48 7414 5

原创 JMX exporter采集kafka监控指标

配置kafka       JMX PORT,修改bin/kafka-server-start.sh,添加一行export JMX_PORT="9999",指定9999端口暴露出来供采集。像配置kafka-manager采集,也是要做这个事情的。下载jmx_exporter      链接 https://github.com/prometheus/jmx_exporter, 将文件...

2018-11-30 10:13:58 4296 5

转载 kafka扩容 下线topic数据迁移限制带宽

转自kafka大神之作-推荐:http://orchome.com/510Kafka提供一个broker之间复制传输的流量限制,限制了副本从机器到另一台机器的带宽上限。当重新平衡集群,引导新broker,添加或移除broker时候,这是很有用的。因为它限制了这些密集型的数据操作从而保障了对用户的影响。有2个接口可以实现限制。最简单和最安全的是调用kafka-reassign-partiti...

2018-11-28 17:42:38 1136

转载 监控你的java程序服务

         当我们JAVA开发工程师开发一个服务或系统后,我们想监控JVM里面的各种资源情况,实现可视化和告警。可以使用prometheus+ grafana去做。环境系统:CentOS 7.5软件:jmx_prometheus_javaagent-0.3.1.jar客户端 下载jmx_exporter # mkdir -p /usr/local/prometheu...

2018-11-28 11:11:23 545

原创 xshell 上传本地文件到所连接的服务器上

      目标服务器是ubuntu,需要先安装  sudo apt install lrzsz然后,输入命令 rz -be 即可。

2018-11-27 15:23:48 809

翻译 kafka工具包指南-翻译

Consumer Offset Checker         This tool has been removed in Kafka 1.0.0.  Use kafka-consumer-groups.sh to get consumer group details.         Displays the:  Consumer Group, Topic, Partitions, Of...

2018-11-25 16:25:53 147

原创 技术渣3个月挺进排名5w+,只要108天+90篇原创+36篇转载

写在文章前          从排名300w+到排名5w+,花了3个月多,108天,写了90篇原创,转载36篇。有点惊讶有点喜出望外。希望分享的真实经验可以有价值,对他人有帮助。开源、分享的路上,让国内的IT技术越来越靠近国际同行。         小广告--[本技术宅base在广州,有大数据技术相关沙龙可约]      正文             工作5年多,最开始工作的时候,...

2018-11-24 11:42:27 1726 2

转载 Elasticsearch 冷热分离

       为了不浪费服务器资源(每台机器上均配置有SSD和大存储,且内存配置较高),提高ES读写性能,我们尝试进行了ES集群冷热分离的配置。测试环境       两台机器,均配置有SSD和SATA盘。每台机器上运行两个ES实例,其中一个实例配置data目录为SSD解压安装(两台机器) mkdir -p /data/mdware cd /data/mdware tar -zxf...

2018-11-23 18:13:35 834

转载 ElasticSearch 5.X 最佳实践

转自大佬:https://www.jishux.com/p/2ccc199e939f5830Author: 袁野Date: 2018.01.05Version: 1.0注意事项:本文档所述为通用情况,不可作为特定业务参照; 本文档所述适用于 ELK 栈中的 ElasticSearch 优化; 本文档所述基于 elastic 公司的 5.2.1 版本; 本文档只描述最佳实践,...

2018-11-23 16:46:03 446

转载 elasticsearch JVM优化配置-官网

        Elasticsearch 默认安装后设置的堆内存是 1 GB。 对于任何一个业务部署来说, 这个设置都太小了。如果你正在使用这些默认堆内存配置,您的集群可能会出现问题。        这里有两种方式修改 Elasticsearch 的堆内存。最简单的一个方法就是指定 ES_HEAP_SIZE 环境变量。服务进程在启动时候会读取这个变量,并相应的设置堆的大小。 比如,你可以用下...

2018-11-23 15:55:26 4096

翻译 elasticsearch优化系列-不能乱改的配置-官网原文

         在 Elasticsearch 中有一些热点,人们可能不可避免的会碰到。 我们理解的,所有的调整就是为了优化,但是这些调整,你真的不需要理会它。因为它们经常会被乱用,从而造成系统的不稳定或者糟糕的性能,甚至两者都有可能。垃圾回收器编辑        这里已经简要介绍了 垃圾回收入门,JVM 使用一个垃圾回收器来释放不再使用的内存。 这篇内容的确是上一篇的一个延续, 但是因...

2018-11-23 15:52:06 159

转载 kafka数据存储格式

转自:http://www.hemingliang.site/308.html阅读目录1  查看主题数据分布 2  查看log文件 3  查看index文件 4  查看timeindex文件查看主题数据分布 [hadoop@m2 kafka_2.10-0.10.2.1]$ bin/kafka-topics.sh --describe --zookeeper localho...

2018-11-22 23:20:49 4173

转载 Kafka Cluster优化两三事

转自:https://bigdata-ny.github.io/2016/12/05/kafka-cluster-optimize/写在之前:本文将讲述Kafka Cluster配置和优化。Kafka Cluster(相对于单个server)最大的优点:可扩展性和容错性。​ Kafka集群简图Kafka Broker个数决定Kafka集群大小的因素有以下几点:磁盘容量:...

2018-11-22 18:25:57 736

原创 配置Elasticsearch heap size JVM内存分配官方文档

https://www.elastic.co/guide/en/elasticsearch/reference/current/heap-size.htmlSetting the heap size 默认1G       By default, Elasticsearch tells the JVM to use a heap with a minimum and maximum size...

2018-11-19 19:32:10 2625

原创 编译安装lua

访问https://www.lua.org/download.html下载lua:https://www.lua.org/ftp/lua-5.3.5.tar.gz解压:tar zxf lua-5.3.5.tar.gzcd lua-5.3.5make linux test机器是ubuntu 16.01 ,报错:lua.c:82:31: fatal error: readli...

2018-11-19 11:29:27 73

原创 Hadoop 3.0 安装部署

最近在虚拟机上新装了一个单节点的Hadoop,用于日常测试。下载二进制包,解压。官网 http://hadoop.apache.org1、 安装ssh,否则Pseudo-Distributed Operation 模式下启动hdfs会失败。sudo apt-get install ssh2、打开  etc/hadoop/hadoop-env.sh  配置java home e...

2018-11-17 18:04:24 210

转载 kafka数据迁移实践-腾讯技术实践

转自:https://juejin.im/post/5a65b2df518825732a6d9ff1        本文重点介绍kafka的两类常见数据迁移方式:1、broker内部不同数据盘之间的分区数据迁移;2、不同broker之间的分区数据迁移。一、broker 内部不同数据盘之间进行分区数据迁移1.1 背景介绍        最近,腾讯云的一个重要客户发现kafka bro...

2018-11-15 18:39:02 115

转载 Kafka: 0.10 Producer 新增timestamp 以及使用配置

转自:https://segmentfault.com/a/1190000008674900本文目录结构: Producer API入门 异步发送流程 Producer设计说明 Producer Configuration 1. Producer API入门:         KafkaProducer是一个发送record到Kafka Cluste...

2018-11-15 18:31:08 2158

在线通讯,多人聊天,在线客服弹窗源码

这是一个在线通讯,也可以当作在线客服,它有两部分组成。其中,有qq在线客服弹窗的源码,js写的。另一个是在线客服代码。直接在myeclipe就建一个DWRconet工程,附加导入进来,即可运行。希望你们可以好好学习

2012-07-04

编译原理-实验4

编译原理实验6.2 目标代码生成-四元式,的目标代码及运行结果截图。还有个人的心得体会。

2012-05-23

算法设计与分析教材

算法书 算法设计与分析 分治法 教材 高高等

2011-10-23

docker全部学习资料个人总结

1、host模式 docker run --net=host就可以指定了这种网络模式。这种模式,容器直接复用了宿主机的ip,并且使用了宿主机的所有网卡,也就是在容器里ifconfig查看到的内容和宿主机查看的一模一样。 比如: docker run -it --rm --net=host sentos:lqf bash 这个命令的--rm意思就是,这个容器退出后,该容器就自动被删除。 2、container模式,就是和其他容器使用相同的网络 docker run -ti --net=container:另一个容器的id 镜像名 bash 3、none模式,完全没有网络的模式

2017-09-07

hive学习资料大全

hive被大多数企业使用,学习它,利于自己掌握企业所使用的技术,这里从安装使用到概念、原理及如何使用遇到的问题,来讲解hive,希望对大家有所帮助。 此篇内容较多: 看完之后需要达到的目标 1.hive是什么 2.明白hive的原理 3.会使用hive 4.会使用hive编程

2017-09-07

Kafka论文学习

优势: 这个方式的优势是,在写入过程中,跳过了部分反应慢的节点。因为要求W+R>N,所以选主速度应该也还可以。 劣势:性能较差,拥有2f+1的机器只能支持最多f台机器挂掉。假设我希望支持2台机器挂掉,我就需要5台机器。使用5台机器的存储,但只能存储一台机器的容量,以及一台机器的吞吐,这显然不是一个划算的买卖。

2017-09-07

maven权威指南,最全资料

执行指定测试类,mvn -Dtest=指定类名 test 执行指定集成测试类,mvn -Dintegration-test=指定类名 integration-test 集成测试,需要先先配置failsafe

2017-09-07

power mockito学习资料

PowerMock是一个扩展了其它如EasyMock等mock框架的、功能更加强大的框架。PowerMock使用一个自定义类加载器和字节码操作来模拟静态方法,构造函数,final类和方法,私有方法,去除静态初始化器等等。通过使用自定义的类加载器,简化采用的IDE或持续集成服务器不需要做任何改变。熟悉PowerMock支持的mock框架的开发人员会发现PowerMock很容易使用,因为对于静态方法和构造器来说,整个的期望API是一样的。PowerMock旨在用少量的方法和注解扩展现有的API来实现额外的功能。

2017-09-07

activeMq资料学习

ActiveMQ 是Apache出品,最流行的,能力强劲的开源消息总线。ActiveMQ 是一个完全支持JMS1.1和J2EE 1.4规范的 JMS Provider实现,尽管JMS规范出台已经是很久的事情了,但是JMS在当今的J2EE应用中间仍然扮演着特殊的地位。

2017-09-07

netty学习资料

Netty 是一个基于NIO的客户、服务器端编程框架,使用Netty 可以确保你快速和简单的开发出一个网络应用,例如实现了某种协议的客户,服务端应用。Netty相当简化和流线化了网络应用的编程开发过程,例如,TCP和UDP的socket服务开发。

2017-09-07

python学习笔记

Python是一种解释型、面向对象、动态数据类型的高级程序设计语言。 Python由Guido van Rossum于1989年底发明,第一个公开发行版发行于1991年。 像Perl语言一样, Python 源代码同样遵循 GPL(GNU General Public License)协议。

2017-09-07

shell命令常用shell命令

Shell 是一个用 C 语言编写的程序,它是用户使用 Linux 的桥梁。Shell 既是一种命令语言,又是一种程序设计语言。 Shell 是指一种应用程序,这个应用程序提供了一个界面,用户通过这个界面访问操作系统内核的服务。 Ken Thompson 的 sh 是第一种 Unix Shell,Windows Explorer 是一个典型的图形界面 Shell。

2017-09-07

storm学习资料

storm学习进阶资料,适合入门学习,进阶实操。低延迟。都说了是实时计算系统了,延迟是一定要低的。 高性能。性能不高就是浪费机器,浪费机器是要受批评的哦。 分布式。系统都是为应用场景而生的,如果你的应用场景、你的数据和计算单机就能搞定,那么不用考虑这些复杂的问题了。我们所说的是单机搞不定的情况。 可扩展。伴随着业务的发展,我们的数据量、计算量可能会越来越大,所以希望这个系统是可扩展的。 容错。这是分布式系统中通用问题。一个节点挂了不能影响我的应用。

2017-09-07

maven nexus私服

官网下载不了。上传出来,让大家一起用。

2016-03-18

数据库连接问题(rs.close())

发表于 2011-10-15 最后回复 2017-10-02

struts+mysql做的用户登录,有错误

发表于 2013-04-30 最后回复 2013-10-17

数据库连接操作(mysql)

发表于 2011-10-15 最后回复 2011-11-03

空空如也
提示
确定要删除当前文章?
取消 删除