2019年09月_波波仔86

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创 Tomcat配置可通过url访问本机目录

在tomcat上配置图片虚拟目录，在tomcat下conf/server.xml中的<Host></Host>添加：<Context docBase="本地路径" path="/file" reloadable="false"/>例如：<Context path="/dataResourceImages" docBase="D:\a" cro...

2019-09-27 10:44:56 453

转载 Elasticsearch基础介绍

介绍Elasticsearch 是一个分布式可扩展的实时搜索和分析引擎,一个建立在全文搜索引擎 Apache Lucene(TM) 基础上的搜索引擎.当然 Elasticsearch 并不仅仅是 Lucene 那么简单，它不仅包括了全文搜索功能，还可以进行以下工作:分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。实时分析的分布式搜索引擎。可以扩展到上百台服务器，处理P...

2019-09-25 11:21:39 2244

转载 Elasticsearch目录结构简单介绍

我Linux机器上的Elasticsearch是通过下载的zip包（tar.gz包）安装的，目录结构如下：# 查看elasticsearch目录下的文件和目录[es@zzf elasticsearch-5.6.14]$ ll总用量 224drwxr-xr-x 2 es es 4096 12月 5 21:21 bindrwxr-xr-x 3 es es 90 1月 ...

2019-09-24 15:40:15 1144

原创 Ubuntu安装Elasticsearch

1、下载官网下载地址为：https://www.elastic.co/cn/downloads/elasticsearch点击进入显示最新版本。我们可以点击past release选择想要下载的历史版本。这里我下载的是6.x最新版本2、安装Elasticsearch要求JDK 8或者以上版本，因此安装之前确保已经安装了JDK，这里不再讲述java的安装配置。1、在/u...

2019-09-24 10:55:53 569

转载 kafka生成者—分区器详解

我们知道，Kafka中的每个Topic一般会分配N个Partition，那么生产者(Producer)在将消息记录(ProducerRecord)发送到某个Topic对应的Partition时采用何种策略呢？Kafka中采用了分区器(Partitioner)来为我们进行分区路由的操作。本文将详细讨论Kafka给我们提供的分区器实现DefaultPartitioner，当然我们也可...

2019-09-23 19:43:03 453

原创 kafka分区副本机制

Kafka为分区引入了多副本（Replica）机制，通过增加副本数量可以提升容灾能力。同一分区的不同副本中保存的是相同消息（在同一时刻，副本之前并非完全一样），副本之间是“一主多从”的关系，其中leader副本负责处理读写请求，follower副本只负责与leader副本的消息同步。副本处于不同的broker中，当leader副本出现故障时，从follower副本中重新选举...

2019-09-21 15:04:01 1543

转载 Zookeeper在kafka中作用

1、Broker注册Broker是分布式部署并且相互之间相互独立，但是需要有一个注册系统能够将整个集群中的Broker管理起来，此时就使用到了Zookeeper。在Zookeeper上会有一个专门用来进行Broker服务器列表记录的节点：/brokers/ids每个Broker在启动时，都会到Zookeeper上进行注册，即到/brokers/ids下创建属于自己的节点，如/broke...

2019-09-21 11:34:14 278

原创查看kafka消息队列的积压情况

查看消息的堆积情况，执行命令：./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group ruleLogEndOffset 下一条将要被加入到日志的消息的位移CurrentOffset 当前消费的位移LAG 消息堆积量消息堆积量：消息中间件服务端中所留存的消息与消费掉的消息之间...

2019-09-20 15:27:34 16122 2

原创 Linux下环境变量/etc/profile、/etc/bashrc、~/.bashrc的区别

1、etc目录下存放系统管理和配置文件1)etc/profile:profile为所有的用户设置系统范围的环境变量和启动顺序。当用户登录时读取该文件。这个文件对每个shell都有效。2)/etc/bashrc：为每一个运行bash shell的用户执行此文件，当bash shell被打开时,该文件被读取。也就是说，当用户shell执行了bash时，运行这个文件。2、~/.bas...

2019-09-19 16:01:53 393

原创 Ubuntu手动挂载硬盘

今天在服务器上安装一个Ubuntu系统，服务器有一个500G的固态盘，8T的机械盘。我把系统安装到固态盘上，机械盘一个没有挂载到系统上，需要手动设置挂载下。1、安装完系统后，执行df -h，发现机械盘没有挂载上去。2、执行fdisk -l机械盘是存在的。3、手动格式化sdb为ext4格式。4、手动挂载sdb到系统的/var目录下可以看到sdb已经挂载到系统。...

2019-09-19 15:09:12 1689

将项目进行编译，测试之后，下一个重要步骤就是打包。pom.xml中如果没有指定打包类型，默认打包类型为：jar。我们可以简单地执行命令打包：mvn clean pachage。类似地，maven会在打包之前执行编译，测试等操作。如以打jar包为例，jar:jar任务负责打包，实际上就是jar插件的jar目标将项目主代码打包成一个名为xxxxxx-1.0-SNAPSHOT.jar的文件。该文件...

2019-09-19 14:03:10 637

转载深入解析Kafka消费者——提交和偏移量

KafkaConsumer(消费者)每次调用 poll()方法，它总是返回由生产者写入 Kafka但还没有被消费者读取过的记录，我们因此可以追踪到哪些记录是被群组里的哪个消费者读取的。之前已经讨论过， Kafka 不会像其他 JMS 队列那样需要得到消费者的确认，这是 Kafka 的一个独特之处。相反，消费者可以使用 Kafka来追踪消息在分区里的位置(偏移量)。我们把更新分区当前位置的...

2019-09-19 10:57:48 1460

转载 mysql查询不区分大小写解决方案（两种）

当我们输入不管大小写都能查询到数据，例如：输入 aaa 或者aaA ,AAA都能查询同样的结果，说明查询条件对大小写不敏感。解决方案一：于是怀疑Mysql的问题。做个实验：直接使用客户端用sql查询数据库。发现的确是大小不敏感。通过查询资料发现需要设置collate（校对）。collate规则：*_bin: 表示的是binary case sensitive collat...

2019-09-16 18:46:31 804

原创 SpringMVC生成zip并下载

利用JDK自带的zip相关类，在util目录下。1、生成zip文件public String createLog() throws IOException { String zipFileName = null; String logFolderPath = PathConst.LOG_PATH; File[] logFiles = tas...

2019-09-15 16:36:06 1782

转载 Shell脚本中出现^M

在Windows中编辑的shell脚本，传到linux系统中，在末尾发现出现了很多^M字符1.问题分析在windows下使用notepad++写的脚本上传到Linux下,在使用vim编辑的时候我们发现在行末出现了^M。2.^M的来历^M字符的来历和作用：在DOS/Windows里，文本文件的换行符为\r\n，而在nix系统里则为\n，所以DOS/Windows里编辑过的文本文件到了...

2019-09-10 18:52:23 1239

原创 Java Process exitValue()

之前一直使用Process执行shell命令，但是没有考虑过shell是正常结束（即exit 0）还是异常结束，最近一个项目需要获取shell执行的状态，Process刚好有一个api：exitValue()，调研下JDK文档：可以看到exitValue为非阻塞的，如果Process没有执行完毕，调用会抛出异常，做个试验：import java.io.IOExcep...

2019-09-06 15:10:28 11815

原创 JSR-356 WebSocket @ServerEndpoint注入spring IOC容器

WebSocket目前主要由两种实现方案java API for WebSocket（JSR-356） spring WebSocket API这里主要说下java api方式。Java API for WebSocket已经是Java EE 7的一部分。它定义了两类endpoit（都是EndPoint类的子类），使用注解标识@ClientEndpoint和@ServerEndpoint。...

2019-09-05 19:55:20 928

转载 kafka分区知识点

概念topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队；在磁盘上以文件夹的形式存在；消息最终以文件形式保存在partition文件夹下面，分段存储。segment文件：对于一个partition（在Broker中以文件夹的形式存在），里面又有很多大小相等的segment数据文件（这个文件的具体大小可以在config/server.p...

2019-09-03 22:37:50 183