走了关门的耳朵-CSDN博客

翻译 Flink1.12 发行说明【翻译】

APIs移除 ExecutionConfig 中的过期方法 FLINK-19084[1]•已移除过期方法 ExecutionConfig#isLatencyTrackingEnabled，可以使用方法 ExecutionConfig#getLatencyTrackingInterval 代替•已移除过期和无效方法 ExecutionConfig#enable/disableSysoutLogging，ExecutionConfig#set/isFailTas

2021-04-07 15:18:26 272

原创 ElasticSearch搜索-基本查询（match/term/range）

termterm 查询被用于精确值匹配，这些精确值可以时数字、日期、布尔值、未经过分析的字符串；term 查询对于输入的文本不分析，所以它将给定的值进行精确查询GET http://localhost:9200/superz/_search{ "query":{ "term":{ "age":27 } }}GE...

2020-03-20 16:07:18 3495

原创 ElasticSearch搜索-响应结果说明

响应结果说明示例：GET http://localhost:9200/superz/_search得到的响应结果一般如下所示：{ "took": 2, "timed_out": false, "_shards": { "total": 5, "successful": 5, "skipped": 0, "failed": 0 }, "h...

2020-03-19 20:06:13 1281

原创 ElasticSearch搜索-轻量查询（Query String Syntax）

轻量搜索轻量搜索是通过轻量的查询字符串，此种方式要求在查询字符串中传递所有参数。查询字符串搜索非常适用于通过命令行做即席查询，但是查询字符串参数会进行 URL 编码，这让 URL 的查看变得更加难懂，如下所示：GET /_all/tweet/_search?q=+name:john +tweet:mary# 实际的请求地址GET /_all/tweet/_search?q=%2Bna...

2020-03-19 17:31:48 696

原创 ElasticSearch搜索-URL

URL在日常使用过程中，一般只是想在一个或多个特殊的索引并且在一个或多个特殊的类型中进行搜索，对于这种情况，可以通过在 URL 中指定特殊的索引和类型达到这种效果，如下所示：语法范围/_search在所有的索引中搜索所有的类型/index1/_search在 index1 索引中搜索所有类型/index1,index2/_search在 index1 和 ...

2020-03-19 14:44:54 1789

原创 ElasticSearch搜索-Search API

Search APIes 提供了两种搜索方式：字符串查询（Query String Syntax）搜索和 DSL 查询Query String SyntaxQuery string 搜索通过命令非常方便地进行临时性地即席搜索，但它有自身的局限性使用 q 指定查询字符串Query String Syntax：K/V 键值对示例如下：GET http://localhost:920...

2020-03-19 09:22:00 170

原创算法时间复杂度

算法时间复杂度定义在进行算法分析时，语句总的执行次数 T(n)T(n)T(n) 是关于问题规模 n 的函数，进而分析 T(n)T(n)T(n) 随 n 的变化情况并确定 T(n)T(n)T(n) 的数量级。算法的时间复杂度，也就是算法的时间量度，记作：T(n)=O(f(n))T(n)=O(f(n))T(n)=O(f(n))。它表示随问题规模 n 的增大，算法执行时间的增长率和 f(n)f(n)...

2020-03-18 08:59:02 370

原创 Kerberos命令使用

登录到管理员账号如果在本机上，可以通过kadmin.local直接登录kadmin.local在其他机器上进行管理员账号的登录# 方法一：kinit admin/adminkadmin# 方法二：kadmin -p admin/admin进入Kadmin模式操作登录了管理员账号后，会进入Kadmin模式下操作使用?可以列出所有的命令账号的增删改查增加账号...

2019-11-07 22:20:02 1955

原创 JAAS使用

简介Java 验证和授权服务（Java Authentication Authorization Service，简称 JAAS）是 Java 在 JDK 1.4 引入的安全框架。JAAS 提供了一种灵活的、说明性机制，用于对用户进行身份验证和服务访问的授权。JAAS 是一种可插拔的认证模块（ Pluggable Authentication Module，PAM ）的安全体系结构。这意味着可...

2019-11-05 20:36:26 4718

原创 Kerberos-Windows客户端安装配置

安装1、下载官网地址： http://web.mit.edu/kerberos/dist/ 根据 Windows 系统的位数来选择对应的版本进行下载安装。2、安装一般选择 Typical 或 Custom ，然后点击下一步3、调整环境变量问题现象：虽然 Kerberos 客户端安装完成后会自动在环境变量的 Path 里面加上自己的目录，但是如果本地安装了 JDK，因...

2019-11-04 20:27:58 4940

原创 Kerberos安装使用

1、安装方式一：【手动编译安装】# 1. 下载界面https://web.mit.edu/kerberos/dist/index.html# 2. 选择下载版本，如：1.17https://web.mit.edu/kerberos/dist/krb5/1.17/krb5-1.17.tar.gz# 3. 解压tar zxvf krb5-1.17.tar.gz# 3. 编译cd...

2019-10-31 23:13:14 1794

原创 Kafka-消费者提交偏移量

偏移量的作用，一个消费者组消费一个主题的过程中，如果有消费者发生崩溃或者有新的消费者加入群组，就会触发再均衡，完成再均衡后，每个消费者可能会分配到新的分区，为了能够继续之前的消息读取，消费者需要一个记录上一次读取到的位置的偏移量，之后从这个偏移量指定的位置开始读取。在新版 Kafka 中，消费者提交偏移量是通过向 __consumer_offset 特殊主题发送包含每个分区的偏移量来实现的。K...

2019-10-30 22:47:37 1424

原创 Kafka-消费者订阅主题

消费者订阅消费者通过 subscribe() 和 assign() 两种方式订阅主题subscribe()使用 subscribe() 可以订阅一个或多个主题，对于这个方法而言，可以以集合的方式订阅多个主题，也可以以正则表达式的形式订阅特定模式的主题。subscribe 的几个重载方法如下：public void subscribe(Collection<String> to...

2019-10-29 21:17:51 3372

原创 KafkaAdminClient-主题分区管理

主题管理创建主题public void create(String topic, int partitions, int replication, Map<String, String> configs) throws Exception { // 为了兼容性增加一层副本系数和节点数量的判断 if (replication > getBrokerNums())...

2019-10-29 00:26:03 1664

原创 KafkaAdminClient-概述

在新版的 Kafka 中的 ZKUtils、AdminUtils 方法都已经过时了，目前 Kafka 提供了一个新的 API 工具 AdminClient。官网对于 AdminClient 的介绍:The AdminClient API supports managing and inspecting topics, brokers, acls, and other Kafka object...

2019-10-29 00:23:40 1530

原创 Kafka命令行工具-kafka-topics

kafka-topics.sh 这是与主题（Topic）有关的命令行常用参数列表选项描述--zookeeper 必填项，Zookeeper的连接信息，可填写多个Zookeeper连接信息--topic 这个参数被用于create、delete、describe和alter，除了--create外，其他命令下的topic可以是一个正则表达式--create创建一个主...

2019-10-27 18:04:10 1376

原创 Kafka入门-Consumer API 使用

消费者 API 允许应用程序从Kafka集群中的主题读取数据流注：使用的是新版本的 Java 语言编写的 API，不对 0.8.x 及以前版本进行讨论maven 依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</ar...

2019-10-27 01:03:31 844

原创 Kafka入门-消费者与消费者组

引言：与生产者对应的消费者，消费者通过订阅主题，并从订阅的主题中拉取消息，这是一个再正常不过的流程，但在 Kafka 中多了一层消费者组的概念。消费者（Consumer）负责订阅 Kafka 中的主题（Topic），并从订阅的主题处获取消息。每个消费者都对应一个消费者组（Consumer Group）。在 Kafka 中消息被发布到主题后，这条消息只会被订阅该主题的消费者组的一个消费者消费...

2019-10-27 00:51:09 1248

原创 Kafka入门-Producer API使用

生产者 API 允许应用程序将数据流发送到 Kafka 集群中的主题。注：使用的是新版本的 Java 语言编写的 API，不对 0.8.x 及以前版本进行讨论maven 依赖<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients&lt...

2019-10-25 21:21:22 975

原创 Kafka入门-服务端参数配置

Kafka 服务端参数配置在 $KAFKA_HOME/config/server.properties 文件中。Kafka 服务端参数有很多，涉及使用、调优等方面，本文将对一些常用的参数做记录（会不定时进行补充）zookeeper.connect该参数指明 broker 要连接的 Zookeeper 集群的服务地址，是一个必填项。如果 Zookeeper 集群有多个节点，则可以用逗号(,)将每...

2019-10-25 21:12:01 1291

原创 Kafka入门-Kafka安装和部署

Kafka 官网地址：https://kafka.apache.org/Kafka 依赖 Zookeeper 组件，因此在安装 Kafka 之前需要先安装 JDK 和 Zookeeper。安装 JDK注：JDK 要求 1.8 版本以上JDK 的安装：JDK安装安装 ZookeeperZookeeper 的安装见：Zookeeper的安装和部署安装 Apache Kafka...

2019-10-25 01:45:44 144

原创 Kafka入门-Kafka概述

简介Apache Kafka 是一个分布式发布-订阅（pub-sub）消息系统，它一般被称为分布式提交日志或者分布式流平台，它以高吞吐、持久化、易水平扩展、支持流数据处理等多种特性而被广泛使用。目前越来越多的开源分布式处理系统如 Strom、Spark、Flink 等都支持与 Kafka 集成。Kafka 具备如下 3 个特点：消息系统：提供消息的发布和订阅，基于发布订阅模式存储系统：K...

2019-10-25 01:38:40 164

原创 Zookeeper的安装和部署

Zookeeper的下载地址： http://zookeeper.apache.org/releases.html安装安装 Zookeeper 之前需要先安装 JDK，关于 JDK 的安装见 JDK安装根据 Zookeeper官网下载压缩文件【此处为3.4.8版本】，进行如下操作：解压 tar -zxvf zookeeper-3.4.8.tar.gz目录重命...

2019-10-24 00:51:54 277

原创 JDK安装

JDK下载地址：Windows1、安装 JDK、JRE安装过程中会出现两次安装提示。第一次是安装 jdk ，第二次是安装 jre 。建议两个都安装在同一个java文件夹中的不同文件夹中。（不能都安装在java文件夹的根目录下，jdk和jre安装在同一文件夹会出错）。2、环境变量配置配置环境变量：右击“我的电脑”-->"高级"-->"环境变量"。2.1、JAVA_HOME环境...

2019-10-23 02:04:47 837

zc0565的博客