2020年09月_九师兄

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

原创【Docker】ERROR: Could not find a version that satisfies the requirement pytest==5.0.1

[lcc@lcc ~/soft/es/elasticsearch-HQ-3.5.12]$ pip install -r requirements.txtDEPRECATION: Python 2.7 reached the end of its life on January 1st, 2020. Please upgrade your Python as Python 2.7 is no longer maintained. pip 21.0 will drop support for Python 2

2020-09-29 22:07:26 2433

原创 Mac终端：pip command not found

1.概述背景：pip是python的包管理工具，在Python3.66的安装包中，easy_install.py是默认安装的，而pip需要我们手动安装[lcc@lcc ~/soft/es/elasticsearch-HQ-3.5.12]$ pip install -r requirements.txt-bash: pip: command not found[lcc@lcc ~/soft/es/elasticsearch-HQ-3.5.12]$ sudo easy_install pipPass

2020-09-29 22:05:34 3448 1

原创【Docker】elasticsearch 监控工具 elasticsearch-HQ

1.概述elasticsearch-HQ是一个实用、直观、便捷的elasticsearch集群管理、监控工具。安装方式分两种，python和docker，个人倾向docker安装，操作步骤比较简单。2.python安装1、准备环境：python 3.4+ 2、https://github.com/ElasticHQ/elasticsearch-HQ下载ZIP包 3、将ZIP包解压后执行如下命令： pip install -r requirements.txt pyt

2020-09-29 22:03:49 655

原创【Docker】elasticsearch 监控工具 elasticsearch-HQ Unable to create connection to: http://localhost:9200

1.背景参考：启动[lcc@lcc ~/soft/sbt/sbt-1.2.8]$ docker run -d -p 5000:5000 elastichq/elasticsearch-hq但是点击后连接报错[lcc@lcc ~/soft/sbt/sbt-1.2.8]$ docker logs -f 76a7bd01f76a0fcab6094e8ab27c4e033220f6d0cc90d37686c77722dc4c265fNoneNone2020-09-29 08:47:1

2020-09-29 22:02:42 419

转载【ElasticSearch 】ElasticSearch监控工具 cerebro

1.概述作者：十毛tenmao链接：https://www.jianshu.com/p/433d821f9667最近在调研一下es的监控工具。最近ElasticSearch使用中出现好多异常情况，一直都是命令行直接排查问题，不够直观。网络上大部分都推荐Kopf，Bigdesk，但是都已经是过时的工具，多年都没有更新了。ps: kopf的github首页就表明该项目不再维护，推荐使用cerebro；bigdesk也只支持ElasticSearch1.3及以下版本而且cerebro的使用特别简单

2020-09-29 22:01:31 833

原创【Java】finally 语句块不被执行的几种情况

执行顺序try { doSomething(); return success; } catch (Exception e) { return failure; } finally { System.out.println("this finally block always print out");}上述示例的语句执行顺序如下：执行 try 语句块，如果未出现异常，则在执行 return 语句之前，执行 finally 语句块；在运行

2020-09-28 21:36:17 882

原创【Kafka】Kafka ERROR [ConsumerFetcherThread-console-consumer], Error for partition [xx,5] to broker 10

1.背景kafka环境页面上看着正常，如下在控制台里发数据也正常，但是消费数据的时候如下 [root@1 bin]# ./kafka-console-consumer.sh --topic topic_lcc --zookeeper xxx:2181{metadata.broker.list=xxx:19093, request.timeout.ms=30000, client.id=console-consumer-1552, security.protocol=PLAINTEXT}[20.

2020-09-28 21:35:36 789

原创【Java】Java调用shell脚本

1.概述java 执行shell2.utils类package com.shell.java;import java.io.InputStreamReader;import java.io.LineNumberReader;public class JaveShellUtil { public static int ExecCommand(String command) { int retCode = 0; try { Pro

2020-09-28 21:35:21 751

转载【Guava】Guava Cache的refresh和expire刷新机制

1.概述转载：https://www.cnblogs.com/liuxiaochong/p/13613071.html总览参考：【Guava】Google Guava本地高效缓存2.思考和猜想首先看一下三种基于时间的清理或刷新缓存数据的方式：expireAfterAccess：当缓存项在指定的时间段内没有被读或写就会被回收。expireAfterWrite：当缓存项在指定的时间段内没有更新就会被回收。refreshAfterWrite：当缓存项上一次更新操作之后的多久会被刷新。考虑到时

2020-09-27 21:20:39 3534

转载【guava】GuavaCache缓存失效的时候做一些操作 RemovalListener

1.概述转载:https://blog.csdn.net/chen_kkw/article/details/81144169以为需要我使用guava缓存我的数据库连接，但是因为设置了1分钟失效就关闭，但是关闭的时候，我希望能做些操作，最好是关闭连接，代码如下private static class MyRemovalListener implements RemovalListener<Integer, Integer> { @Override public voi

2020-09-27 21:19:34 4012 4

原创【Kafka】Kafka Streams简介

1.概述Kafka在0.10.0.0版本以前的定位是分布式，分区化的，带备份机制的日志提交服务。而kafka在这之前也没有提供数据处理的顾服务。大家的流处理计算主要是还是依赖于Storm，Spark Streaming，Flink等流式处理框架。Kafka Streams 是一个用来处理流式数据的库，属于Java类库，它并不是一个流处理框架，和Storm，Spark Streaming这类流处理框架是明显不一样的。那这样一个库是做什么的，能应用到哪些场合，如何使用。　Kafka于0.10.0.0版本

2020-09-27 21:18:48 861

原创【Flink】Flink Dump of the process-tree for container Exit code is 143

flink任务报错这个如下这个是内存分配不足的原因。这个要看你们代码有没有什么问题了。或者数据量。这个问题很像：【Flink】Flink流计算任务启动报错 Container killed on request. Exit code is 137相似问题：【Flink】Flink Container exited with a non-zero exit code 143【Flink】Flink Dump of the process-tree for container Exit code is 143

2020-09-27 21:18:13 639

原创【Spring】Spring boot的ApplicationContextAware 实现获取service

1.概述有时候，我们一个普通的java类，想用Spring Boot的注解的service，一般情况下我们是这样的@Servicepublic class ManServiceImpl implements ManService { @Autowired private HelloService helloService;}但是这个要求我们的service也必须是一个被spring boot管理的类，假设我的类不是一个被管理的类呢？public class ManServi

2020-09-27 21:17:33 1374

原创【Kafka】Kafka幂等性原理及实现剖析

Kafka的幂等性和事务是比较重要的特性，特别是在数据丢失和数据重复的问题上非常重要。Kafka引入幂等性，设计的原理也比较好理解。而事务与数据库的事务特性类似，有数据库使用的经验对理解Kafka的事务也比较容易接受。

2020-09-27 21:17:04 2441 1

转载【Kafka】Elasticsearch 与 Kafka 整合剖析

1.概述转载：https://www.cnblogs.com/smartloli/p/6978645.html目前，随着大数据的浪潮，Kafka 被越来越多的企业所认可，如今的Kafka已发展到0.10.x，其优秀的特性也带给我们解决实际业务的方案。对于数据分流来说，既可以分流到离线存储平台（HDFS），离线计算平台（Hive仓库），也可以分流实时流水计算（Storm，Spark）等，同样也可以分流到海量数据查询（HBase），或是及时查询（ElasticSearch）。而今天笔者给大家分享的就是Ka.

2020-09-27 21:16:42 1662

原创【Kafka】kafka 0.10.0 版本低级消费 API

1.概述在 Kafka 中，官方对外提供了两种消费 API，一种是高等级消费 API，另一种是低等级的消费 API。转载并且微改：https://www.cnblogs.com/smartloli/p/5241067.html2.内容在使用过 Kafka 的高级消费 API 后，我们知道它是一种高度抽象的消费 API，使用起来简单，方便，但是对于某些特殊的需求我们可能要用到第二种更加底层的 API。那么，我们首先需要知道低级消费 API 的作用。它能帮助我们去做那些事情：一个消息进行多次读取.

2020-09-27 21:15:44 524

原创【Elasticsearch】Elasticsearch analyzer 分词器

1.概述什么是analysis?分析是Elasticsearch在文档发送之前对文档正文执行的过程，以添加到反向索引中（inverted index）。在将文档添加到索引之前，Elasticsearch会为每个分析的字段执行许多步骤：Character filtering (字符过滤器): 使用字符过滤器转换字符Breaking text into tokens (把文字转化为标记): 将文本分成一组一个或多个标记Token filtering：使用标记过滤器转换每个标记Token inde

2020-09-26 19:24:43 609

原创【Elasticsearch】Elasticsearch之别名

别名解决的问题在运行的集群中可以从一个索引切换到另一个索引可以给多个索引进行分组可以与路由搭配使用。

2020-09-26 14:19:47 758 1

转载【Java】java JMX之ObjectName

1.概述转载：https://blog.csdn.net/yunlong34574/article/details/46563187ObjectName 就是存储了一个domain(域)下的一些属性，属性的存储采取key-value的方式来存储，这个类的一个精华所在就是domian及属性（key或者value）都是支持正则的，比如：*表示匹配所有，？表示匹配一个字符。2.ObjectName注释翻译ObjectName 表示一个Mbean的对象名称，或者是表示一个能够匹配几个Mbean的正则，Ob.

2020-09-26 13:49:03 1385

原创【Kafka】Kafka如何彻底删除Kafka中的topic

1.概述工作中因为各种原因，例如topic中消息堆积的太多，或者kafka所在磁盘空间满了等等，可能需要彻底清理一下kafka topic，那么如何彻底删除topic？但是注意无论怎么删除，第一步是设置kafkaauto.create.topics.enable=falsedelete.topic.enable=true不然会出新奇奇怪怪的问题。比如生产者在发送数据的时候，你删除topic，因为设置了自动创建topic，你会发现，删除不掉，还有其他奇奇怪怪的问题。如果不设置delete.t

2020-09-26 13:31:02 1964 1

原创【kafka】java使用jmx 监控Kafka

1.概述想使用java jmx监控kafka，关于jmx相关的概念请参考【Java】java jmx 入门案例进阶版参考：【Spring】SpringBoot 如何使用JMX2.kafkal开启Jmx首先开启kafka端口linux下if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" export JMX_PORT="9999"fiwindow下参考“：【Kafka】.

2020-09-26 12:51:47 1493

转载【Java】java jmx 入门案例

1.概述JMX的全称为Java Management Extensions,是管理Java的一种扩展。这种机制可以方便的管理正在运行中的Java程序。常用于管理线程，内存，日志Level，服务重启，系统环境等JMX架构图如下：从上面的架构图可以看到JMX主要分三层，分别是：1、设备层（Instrumentation Level）主要定义了信息模型。在JMX中，各种管理对象以管理构件的形式存在，需要管理时，向MBean服务器进行注册。该层还定义了通知机制以及一些辅助元数据类。设备层其实就是和被.

2020-09-26 11:57:27 811

原创【Java】Java 集合相关的博客积累

1.概述面试官问线程安全的List，看完再也不怕了！

2020-09-26 10:21:10 227

原创【kafka】kafka Offset commit failed on partition The coordinator is not aware of this member

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

2020-09-26 10:03:22 8254 1

原创【Elasticsearch】 Elasticsearch slop管理间隔字符查数据

1. 概述如果我们想在文档中查询，先出现 china 后出现 jaoan 字样的数据，怎么办？那么就用slop创建一个索引PUT /ecommerce/product/1{ "id":2, "name": "china usa germany japan england", "desc": "youxiao fangzhu2555"}PUT /ecommerce/product/2{ "id":2, "name": "china usa germany thre.

2020-09-26 09:53:54 587 3

转载【Elasticsearch】wildcard、fuzzy、regexp、prefix

1.概述原文：https://www.cnblogs.com/wjx-blog/p/12097892.html1.1 WildCardGET /people/_search{ "query":{ "wildcard":{ "firstName":"japa*" } }}上面的可以使用问号和星号两个形式的查询，下面是解释：?, which matches any single character 匹配任意个字符*, which can match .

2020-09-26 09:44:54 599

原创【Spring】Failed to load ApplicationContext Neither GenericXmlContextLoader nor AnnotationConfigCont

import junit.framework.TestCase;import org.junit.Test;import org.junit.runner.RunWith;import org.smartloli.kafka.eagle.web.service.MetricsService;import org.springframework.beans.factory.annotation.Autowired;import org.springframework.test.context.ju.

2020-09-25 22:02:55 821

原创【Kafka】Kafka eagle 监控界面无数据

1.背景1.场景1在docker下有四个容器，如下kafkanode1kafkanode2kafkanode3kafkaeagle这几个节点，kafka eagle中配置如下kafka.eagle.zk.cluster.alias=cluster1cluster1.zk.list=zk1:2181,zk2:2181,zk3:2181kafka.eagle.driver=com.mysql.jdbc.Driverkafka.eagle.url=jdbc:mysql://mysql_

2020-09-25 22:00:33 1928

原创【Kafka】Window下kafka开启JMX监控

1.概述因为需要，需要在windows下开启kafka，然后kafka开启JMX监控同样是修改kafka-server-start文件，但是修改的是kafka-server-start.batIF ["%KAFKA_HEAP_OPTS%"] EQU [""] (set KAFKA_HEAP_OPTS=-Xmx1G -Xms1Gset JMX_PORT="9999")然后重启kafka就好了...

2020-09-25 22:00:00 1062

原创【Spring】Springb boot 集成 Es 7.6.0

1.概述Springb boot 集成 Es 7.6.0 ，引入一下包<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-elasticsearch</artifactId></dependency>引入之后，会发现测试怎么都不对，但是最后，发现spring boot 默认引入的是 6..

2020-09-24 22:43:58 332

原创【kibana】状态异常 Status: Red Unable to connect to Elasticsearch at http://127.0.0.1:9200.

1.概述本地安装了一套es，如下但是kibana却是这样的kibana的配置是这样的server.port: 5601server.host: "localhost"elasticsearch.hosts: ["http://localhost:9200/"]kibana.index: ".kibana"启动日志有如下错误 log [13:17:30.333] [warning][config][encryptedSavedObjects][plugins] Generat.

2020-09-24 21:54:02 2090

原创【kibana】状态异常 Status: Red Status changed from red to yellow - No existing Kibana index found

1.背景问题描述：最后安装kibana之后启动网页就出现如图这样点击任何菜单栏都是这样错误日志:[warning] You're running Kibana 5.6.0 with some different versions of Elasticsearch. Update Kibana or Elasticsearch to the same version to prevent compatibility issues: v6.7.0 @ 10.9.31.193:9200 (10.9.3.

2020-09-24 21:24:34 1535

原创【Kibana】FATAL Error: [config validation of [elasticsearch].url]: definition for this key is missing

1.背景开启kibana 7.6.0 版本报错 cause: { Error: definition for this key is missing at ObjectType.onError (/Users/lcc/soft/es/kibana-7.6.0-darwin-x86_64/node_modules/@kbn/config-schema/target/out/types/type.js:84:20) at type.Type.schema.error (.

2020-09-24 21:21:00 7358

转载【Kafka】kafka AdminClient 闲时关闭连接

1.概述原文：https://www.cnblogs.com/allenwas3/p/10289039.htmlAdminClient 类提供了创建、删除 topic 的 api。在项目中创建了一个 AdminClient 对象，每次创建 topic 时，调用org.apache.kafka.clients.admin.AdminClient#createTopics如果长时间不使用这个对象，客户端与 broker 之间的连接会被关掉，相关的参数：connections.max.idle.ms.

2020-09-23 23:41:47 1289

转载【Kafka】kafka AdminClient API

1.概述原文：链接：https://www.jianshu.com/p/5a99c217aeb6请看原文，这里是防丢失，还是因为懒得写了五类Kafka客户端作用和区别在上文中介绍了如何搭建一个Kafka服务，那么在开发中我们要如何去访问、集成Kafka呢？这就需要使用到本文将要介绍的Kafka客户端API。下图是官方文档中的一个图，形象表示了能与Kafka集成的客户端类型：这些客户端通过API与Kafka进行集成，Kafka的五类客户端API类型如下：AdminClient API：允许管理.

2020-09-23 23:39:09 2510 6

转载【Kafka】kafka检查消费者位置

1.概述防丢失作者：半兽人链接：https://www.orchome.com/35来源：OrcHome著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。检查消费者的位置（Checking consumer position）Sometimes it’s useful to see the position of your consumers. We have a tool that will show the position of all consumers in a c

2020-09-23 22:48:35 1183

转载【Kafka】Could not find or load main class kafka.tools.ConsumerOffsetChecker

1.概述转载：https://blog.csdn.net/lukabruce/article/details/89210463今天在查询kafka检查消费者位置时运行./kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic test2 --zookeeper hadoop01:2181,hadoop02:2181,hadoop03:2181然后报错如下：Error: Could not find or load main cl.

2020-09-23 22:45:00 2236

原创【Kafka】kafka 获取消费组详情 Exiting due to KeeperErrorCode = NoNode for /consumers/group

1.背景想看一个kafka的topic的消费组信息。[lcc@lcc ~/soft/kafka/kafka_2.11-0.10.0.0]$ bin/kafka-topics.sh --zookeeper localhost:2181 --list__consumer_offsetstesttopic_lcc查看消费组[lcc@lcc ~/soft/kafka/kafka_2.11-0.10.0.0]$ bin/kafka-consumer-groups.sh --bootstrap-ser.

2020-09-23 22:08:37 1456

原创【Kafka】kafka 根据 ConsumerOffsetChecker获取group当前消费情况

[lcc@lcc ~/soft/kafka/kafka_2.11-0.10.0.0]$ bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --list --new-consumergroup_lcc-lcc[lcc@lcc ~/soft/kafka/kafka_2.11-0.10.0.0]$ bin/kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --topic top

2020-09-23 22:03:06 862

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

hadoop 2.x 版本概要讲解，HA搭建指南

Eclipse Formatter 模板 Formatter.xml

Drools-复杂事件处理

excel操作包

eclipse的hadoop插件

hadoop学习文档

hadoop单结点

hadoop单结点配置

native_32位

s2sh整合配置，非常适合初学者，明白配置流程

打飞机代码

空空如也