Max.G-CSDN博客

LEO：每个副本最后一个offset，LEO其实是最新的offset+1HW：所有副本最小的LEO1.Follower故障1.Follower发生故障后会被临时提出ISR2.这个期间Leader和Follower继续接受数据3等该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取，从HW开始向Leader进行同步4.等该follower的LEO大于等于该partition的HW，即Follower追上Leader后，可以重新加入I

2022-06-21 23:16:46 275

原创 Kafka ACK应答级别以及相关副本介绍

kafka中副本介绍以及相关作用

2022-06-21 22:40:32 643

原创在hive命令中执行脚本sql语句

hivesql命令内容摘要

2022-06-21 19:16:10 952

原创大数据集群配置信息

大数据集群配置参数

2022-06-07 07:08:20 351

转载 DataX任务提交命令

使用DataX进行mySQL等数据库数据传输的配置原理

2022-06-05 17:15:49 374

原创 HDFS参数调优hdfs-site.xml

hdfs参数调优

2022-06-05 14:34:41 88

转载 Flume启动配置文件 & Flume监听端口

添加内容如下：# Name the components on this agenta1.sources = r1a1.sinks = k1a1.channels = c1# Describe/configure the sourcea1.sources.r1.type = netcata1.sources.r1.bind = localhosta1.sources.r1.port = 44444# Describe the sinka1.sinks.k1.type = logge.

2022-05-25 19:38:54 724

原创 Hive元数据库初始化发生 FAILED: HiveException java.lang.RuntimeException

进入hive> show databases;时报错找不到metastore。初始化数据库后需要重新启动metastore；[max@hadoop202 hive]$ hive --service metastore2020-04-24 16:58:08: Starting Hive Metastore Server之后在hive>中查询,修改等操作就可以执行了。...

2022-05-21 09:05:03 266

原创 zookeeper集群启动脚本

#!/bin/bashcase $1 in"start"){ for i in hadoop102 hadoop103 hadoop104 do echo ---------- zookeeper $i 启动 ------------ ssh $i "/opt/module/zookeeper/bin/zkServer.sh start" done};;"stop"){ for i in hadoop102 hadoop103 hadoop104 do .

2022-05-20 21:31:12 544

原创 SSH无密登录配置(hadoop集群配置相关)

1.配置好hadoop集群 hadoop2 hadoop3 hadoop4【max@hadoop2 .ssh】$ ssh-keygen -t rsa敲三下回车，生成两个文件 id_rsa(私钥) id_rsa.pub(公钥)2.将hadoop102公钥拷贝到要免密登录的目标机器上【max@hadoop2 .ssh】$ ssh-copy-id hadoop102【max@hadoop2 .ssh】$ ssh-copy-id hadoop103【max@hadoop2 .ssh】$ ss

2022-05-20 12:06:05 184

原创 Linux集群分发脚本将主机文档、文件同步给其他节点

rsyncrsync -av /opt/module root@hadoop103:/opt/async集群分发脚本#!/bin/bash#1. 判断参数个数if [ $# -lt 1 ]then echo Not Enough Arguement! exit;fi#2. 遍历集群所有机器for host in hadoop102 hadoop103 hadoop104do echo ==================== $host ==...

2022-05-18 19:16:03 618

原创 Hive架构原理

1）用户接口：ClientCLI（command-line interface）、JDBC/ODBC(jdbc访问hive)2）元数据：Metastore元数据包括：表名、表所属的数据库（默认是default）、表的拥有者、列/分区字段、表的类型（是否是外部表）、表的数据所在目录等；默认存储在自带的derby数据库中，推荐使用MySQL存储Metastore3）Hadoop使用HDFS进行存储，使用MapReduce进行计算。4）驱动器：Driver（1）解析器（SQL Pa

2022-05-12 18:46:48 80

原创 Hive数据操作方法

DDL数据定义创建数据库：CREATE DATABASE [IF NOT EXISTS] database_name[COMMENT database_comment][LOCATION hdfs_path][WITH DBPROPERTIES (property_name=property_value, ...)];//显示数据库hive> show databases like 'db_hive*';//显示数据库详情hive> desc database db

2022-05-08 10:28:15 211

原创 MapReduce编程规范

用户编写的程序分成三个部分：Mapper、Reducer和Driver。1.Mapper阶段1.用户自定义的Mapper要继承基类2.Mapper的输入数据是KV对的形式（KV的类型可自定义）3.Mapper中的业务逻辑写在map（）方法中4.Mapper的输出数据是KV对的形式（KV类型可自定义）5map（）方法（MapTask进程）对每一个<k,v>调用一次2.Reduce阶段1.用户自定义的Reduce类要继承基类2.Reducer的输入数据类型对应

2022-05-05 12:07:14 1025

qq_36570086的博客

原创 org.apache.ibatis.binding.BindingException: Invalid bound statement (not found):

原创 Springboot配置 bug ERROR 12528 --- [ restartedMain] o.s.b.d.LoggingFailureAnalysisReporter

原创 Exception in thread “main“ org.apache.flink.runtime.client.JobExecutionException: Job execution fail

原创 MySQL列转行、行转列

原创 MySQL中coalesce函数的使用

原创 Hive中SQL命令的执行顺序

原创日志采集Flume配置

原创数据仓库概念以及选型

原创 Follower故障处理细节