- 博客(112)
- 资源 (5)
- 收藏
- 关注
RSS订阅
原创 Kafka Connect相关插件配置文档
Kafka Connect相关插件配置文档文章目录Kafka Connect相关插件配置文档前言一、HDFS 2 Sink 插件1.1主要功能点1.2 环境准备1.3 HDFS 2 Sink 安装1.4 快速开始1.5 HDFS 2连接器配置选项1.5.1 HDFS1.5.2 安全1.5.3 连接器1.5.4 存储1.5.5 分区器1.5.6 Hive1.5.7 Schema1.6 格式和分区1.7 蜂巢整合1.8 安全的HDFS和Hive Metastore1.9 模式演变二 、JDBC Source
2020-05-18 17:25:01
1513
2
原创 gradle 查看项目的依赖树
新建task任务修改build.gradlesubprojects { task allDeps(type: DependencyReportTask) {}}./gradlew allDeps
2021-12-14 10:43:09
2940
1
原创 JVM性能调优与故障诊断
JVM性能调优与故障诊断文章目录JVM性能调优与故障诊断JvmGC参数类加载与卸载参数跟踪JVM常用参数垃圾回收算法命令行性能监控工具Jdk性能监控工具图形化工具JvmGC参数打印GC参数 -XX:PrintGC打印GC详细参数 -XX:PrintGCDetails打印堆GC参数 -XX:+PrintHeapAtGC打印GC发生时间 -XX:+PrintGCTimeStamps应用程序执行时间 -XX:+PrintGCApplicationConcurrentTime因GC产
2021-12-03 14:31:54
340
原创 IDEA方法注释模板笔记
1、配置模板** * <p> * TODO-WS: $time$ $date$ * </p> * @author Tu_maimes * @date $time$ $date$ * $param$ * @return $return$ **/2、默认值填充groovyScript("if(\"${_1}\".length() == 2) {return '';} else {def result=''; def params=\"${_1}\".rep
2021-09-26 17:58:07
158
原创 HttpURLConnection高阶使用之kerberos认证解决方案
1、HttpURLConnection 简介sun.net.www.protocol.http.HttpURLConnection是jdk中默认执行请求时使用。此HttpURLConnection 支持多种权限认证方案，Negotiate（Kerberos）、Basic、Digest认证，本节主要介绍Negotiate（Kerberos）。2、示例代码开启kerberos的服务配置krb5.conf文件import sun.misc.IOUtils;import java.io.IOExce
2021-07-14 18:09:37
691
1
原创 Debezium Oracle CDC使用手册
文章目录一、文档参考二、Oracle 数据开启日志归档三、创建XStream Admin用户和连接器用户四、XStream出站服务器五、kafka connector六、oracle 表创建一、文档参考1.1 Centors7+静默安装Oracle12C1.2 Debezium官方文档1.3 Oracle Instant Client注意在安装oracle时使用英文模式。二、Oracle 数据开启日志归档设置数据库归档模式SQL> shutdown immediate;数
2021-04-09 18:23:29
3193
3
原创 HttpClient请求开启Kerberos的服务
示例方案一import org.apache.http.HttpResponse;import org.apache.http.auth.AuthSchemeProvider;import org.apache.http.auth.AuthScope;import org.apache.http.auth.Credentials;import org.apache.http.client.HttpClient;import org.apache.http.client.config.AuthS
2021-03-29 16:18:48
1146
原创 kafka Schema开启kerberos认证
文章目录1、Schema1.1 Schema开启kerberos1.2 启动Schema服务1、Schema1.1 Schema开启kerberos拷贝schema.service.keytab到schema安装目录下的etc中修改schema.service.keytab文件的权限创建schema_server_jaas.conf并添加如下内容Client { com.sun.security.auth.module.Krb5LoginModule required use
2021-03-25 11:51:19
396
2
原创 ApacheDS使用详细教程
1、安装apacheDS1.1执行安装脚本1.2 默认安装配置1.3 启动ApacheDS1.4 添加Apache服务端连接1.5 密码处填写 secret1.6 连接成功并打开2、添加自定义分区2.1 打开配置添加自定义分区2.2 重启服务刷新连接3、添加组3、修改配置将m-disabled配置修改为false，修改之后就可以有posixAccount、posixGroup相关属性。切记修改后要断开重新连接3
2021-03-09 17:16:23
3483
2
原创 kafka manager 管理开启kerberos的kafka集群安装教程
1、前言通过之前的博客我们已经把 Zookeeper、kafka、Kerberos 都已经安装验证完毕。接下来我们将继续围绕Kafka生态周围对Kafka Manager 开启kerberos的安装以及验证。2、添加Kafka Manager 认证主体通过命令行添加kafkaManager的认证主体，并导出Key.tab文件[root@henghe-01 /]# kadmin.localAuthenticating as principal root/admin@HADOOP.COM with
2021-02-09 14:26:45
519
原创 Kafka开启kerberos安装与验证（2）
1、Kafka 开启ACL1.1 开启acl认证在kafka中server.properties文件中添加如下配置：# 配置kafka中对权限的认证authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer# 配置kafka认证的超级管理员super.users=User:kafka修改整个集群中的配置文件后，滚动重启kafka集群。2、设置Kafka主题Acl权限2.1 查看现有的认证主体列出的认证主体中有我们之前添加的
2021-02-08 16:31:08
768
原创 Kafka开启kerberos安装与验证（1）
1、环境准备1、java version “1.8.0_131”2、zookeeper-3.4.123、kafka-2.12-2.3.14、基于本人的另外两篇博客已安装kerberos与Zookeeperkafka的安装建议通过百度一下相关教程很多，本文就不在论述。2、kafkaServer端开启kerberos2.1 添加认证主体[root@henghe-01 data] kadmin.localkadmin.local>addprinc -randkey kafka/henghe
2021-02-07 14:30:29
2655
10
原创 zookeper开启kerberos权限安装与验证（2）
1、zookeeper的安装(单机)1、环境变量配置export ZOOKEEPER_HOME=/data/zookeeper-3.4.12export JAVA_HOME=/data/java/jdk1.8.0_131export PATH=$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH2、配置文件# The number of milliseconds of each ticktickTime=2000# The number of ticks
2021-02-05 11:38:11
777
原创 zookeper开启kerberos权限安装与验证（1）
一、Kerberos简介Kerberos是一种网络安全认证协议，最早由麻省理工研发，用来保护项目 Athena提供的网络服务器。这个协议以希腊神话中的人物Kerberos（或者Cerberus）命名，他在希腊神话中是Hades的一条凶猛的三头保卫神犬。kerberosInternet是一个非常不安全的地方。在Internet中使用的很多协议并没有提供任何安全保障。一些站点尝试使用防火墙来解决网络安全问题。不幸的是，防火墙假设“坏蛋”都在外边，往往这是非常愚蠢的假设。现实情况是大多数计算机犯罪的毁灭事件
2021-02-05 10:39:37
454
1
原创 gitlib项目命令行迁移
操作指南git clone --mirror ‘仓库地址’cd 进入到本地项目的*.git目录中git remote set-url origin ‘新的项目地址’git push --mirror 推出镜像
2020-12-21 13:07:56
119
原创 kafka-2.5.1源码阅读之KafkaProducer
KafkaProducer介绍KafkaProducer是kafka生成者生成数据写入kafka集群，通过实例化对象调取send方法发送数据到对应的Topic中存储。实例化相关参数的校验分区器序列化器后台发送线程本地缓存记录集合生产者元数据信息事务管理生产者拦截器后边会详细介绍相关核心操作元数据更新 /** * Wait for cluster metadata including partitions for the given topic to be a
2020-12-14 18:14:59
232
原创 kafka源码阅读之Partitioner
1、介绍kakfa版本：2.5.1kafka集群中Topic用来存储数据对应的数据，Topic又被由一个或者多个分区组成。根据kafka的设计原理分区内部的数据是有序的但是如何将数据发送到对应的分区需要根据分区器来决定。kafka内部携带的分区器：DefaultPartitioner ：当Record包含Key键时给据key键值进行hash分区，当不包含时采用的是StickyPartition（旧版本采用的是轮询的方式）UniformStickyPartitioner ：KIP-480Rou
2020-12-14 14:29:03
413
原创 基于FlinkSql实时数仓构建
基于FlinkSql实时数仓构建文章目录基于FlinkSql实时数仓构建1、案例简介1.1 指标2、架构设计2.1 架构设计概要2.2 架构分层设计3、业务数据3.1 业务数据表关系3.2 业务数据表4、数据处理流程4.1 ODS层数据同步4.2 DIM层数据处理4.3 DWD层数据处理4.4 ADS层数据处理5 、指标可视化6、API6、技术探讨6.1 延迟数据6.2 动态表6.3 时态表6.4 Joins6.5 查询配置6.6 流式聚合7、 FlinkSql存在的Bug实时数仓主要解决传统数仓数
2020-11-26 15:21:55
2336
14
原创 普罗米修斯监控
普罗米修斯1、安装安装2、配置监控[Prometheus + Grafana（八）系统监控之Kafka]Prometheus 监控之 kafka3、指令nohup /data/prometheus-2.21.0.linux-amd64/prometheus --config.file=/data/prometheus-2.21.0.linux-amd64/prometheus.yml &kakfa监控配置demolowercaseOutputName: tru
2020-11-12 17:42:59
914
1
原创 SpringBoot调用第三方无法向注册中心注册的接口使用Feign解决方案
项目设计对第三方开源的组件进行集成，使用的是Jetty开发的接口无法向SpringBoot的注册中心注册，又不想在项目中写大量的HTTP请求，感觉有点low。简单了看了下Feign原生的开源组件后由自己本地的SpringBoot服务来维护第三方服务的高可用性。有关其他实现可用参考github的Feign官方介绍。一、服务发现package com.ws.feign.lb;import org.apache.commons.configuration.AbstractConfiguration;im
2020-09-16 20:19:58
1240
原创 项目中多版本依赖冲突解决方案
一、项目中多版本依赖冲突解决方案1.1 使用的插件 <build> <plugins> <plugin> <groupId>org.apache.maven.plugins</groupId> <artifactId>maven-shade-plugin</artifactId>
2020-09-08 11:04:02
859
kafka-avro-serializer-5.3.2.jar
2020-01-03
hadoop配置文件——精简版.zip
2019-08-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人