大数据
飞Link
大数据厨艺工程师,一个文艺的程序员
展开
-
Kafka Leader和Follower故障处理细节
1.Follower发生故障2.Leader发生故障原创 2022-06-22 15:17:17 · 915 阅读 · 0 评论 -
Kafka副本选举流程
Kafka集群中有一个broker的Controller会被选举为Controller Leader,负责管理集群broker的上下线,所有topic的分区副本分配和Leader选举等工作Controller的信息同步工作是依赖于Zookeeper的查看Leader分布情况原创 2022-06-22 15:14:21 · 506 阅读 · 0 评论 -
Kafka副本基础信息
Kafka副本作用:提高数据可靠性Kafka默认副本1个,生产环境一般配置为2个,保证数据可靠性;太多副本会增加磁盘存储空间,增加网络上数据传输,降低效率Kafka中副本分为:Leader和Follower。Kafka生产者只会把数据发往Leader,然后Follower找Leader进行同步数据Kafka分区中的所有副本统称为AR(Assigned Replicas)AR=ISR+OSRISR:表示和Leader保持同步的Follower集合。如果Follower长时间未向Leader发送通信请求或同步数原创 2022-06-22 15:11:32 · 798 阅读 · 0 评论 -
Kafka节点服役和退役
1.服役新节点2.退役旧节点原创 2022-06-22 15:09:03 · 533 阅读 · 0 评论 -
KafkaBroker的重要参数
ISR中,如果Follower长时间未向Leader发送消息请求或同步数据,则该Follower将被提出ISR,该时间阈值,默认30s默认是true,自动Leader Partition平衡默认是10%。每个broker允许的不平衡的leader的比率。如果每个broker超过了这个值,控制器会触发leader的平衡默认值300s,检查leader负载是否平衡的间隔时间kafka中log日志是分成一块块存储的,此配置是指log日志划分成块的大小,默认值1G默认4kb,kafak里面每当写入了4kb大小的日志原创 2022-06-22 15:04:40 · 420 阅读 · 0 评论 -
Kafka~消息队列中拉模式和推模式的区别
1. 推模式介绍、优点、缺点2. 拉模式介绍、优点、缺点原创 2022-06-15 15:53:24 · 2244 阅读 · 1 评论 -
Linux~ZooKeeper安装教程
一、配置ssh免密登录node1 node2 node3cd # 连着三个回车ssh-keygencd /root/.sshssh-copy-id node1ssh-copy-id node2ssh-copy-id node3二、ZooKeeper安装上传安装包至/export/servernode1 node2 node3解压压缩包node1 node2 node3tar -zxvf zookeeper-3.4.6.tar.gz文件重命名node1 node2 no原创 2022-04-22 09:03:16 · 207 阅读 · 0 评论 -
Linux~Kafka安装教程
没有安装ZooKeeper的要首先安装ZooKeeper上传安装包到/export/server目录下node1 node2 node3解压文件node1 node2 node3tar -zxvf kafka_2.12-3.0.0.tgz删除安装包node1 node2 node3rm -f kafka_2.12-3.0.0.tgz重命名文件夹node1 node2 node3mv kafka_2.12-3.0.0/ kafka配置文件node1 node2 node3v原创 2022-04-22 09:03:50 · 381 阅读 · 0 评论 -
Linux~CentOS 7虚拟机 安装教程(包括基础配置)
一、创建虚拟机创建新的虚拟机自定义配置(可以自由定义内存之类的配置)硬件兼容性(没有什么用,尽可能高一点)稍后安装系统选择操作系统版本(需要安装什么系统就选择什么系统)配置虚拟机名称和存储位置设置处理器数量(根据自己电脑的具体情况设置,不需要跟我的一样)选择虚拟机内存(根据自己电脑的具体情况配置,不需要和我的一样)配置网络类型(桥接网络是和主机用一个网络IP,NAT是独立的网络IP)配置IO控制器类型(目前没有发现有啥用)选择磁盘类型(目前没有发现有啥用)选择原创 2022-04-20 11:35:32 · 2144 阅读 · 0 评论 -
Linux~CentOS7的基础配置和常用软件
一、基础配置修改网络IPvi /etc/sysconfig/network-scripts/ifcfg-ens33# 修改的内容BOOTPROTO="static"# 添加的内容IPADDR=192.168.10.100GATEWAY=192.168.10.2DNS1=192.168.10.2设置主机名vi /etc/hostname# 修改的内容node设置网络映射vi /etc/hosts# 添加的内容192.168.10.100 node重启虚拟机reb原创 2022-04-22 09:01:28 · 775 阅读 · 0 评论 -
Linux~CentOS上Java(JDK)安装教程
卸载虚拟机自带的jdkrpm -qa | grep -i java | xargs -n1 rpm -e --nodeps上传jdk安装包到/export/server目录下解压压缩包tar -zxvf jdk-8u65-linux-x64.tar.gz mv jdk1.8.0_65/ jdk删除安装包rm -rf jdk-8u65-linux-x64.tar.gz配置环境变量vim /etc/profile# 新增加的内容export JAVA_HOME=/export/s.原创 2022-04-22 09:01:52 · 149 阅读 · 0 评论 -
Linux~CentOS上MySQL的安装教程
一、卸载MySQL卸载系统自带的mariadbrpm -qa|grep mariadbrpm -e mariadb-libs --nodepsrpm -qa|grep mariadb卸载MySQLsystemctl stop mysqld.servicerpm -qa | grep -i mysql yum remove mysql-community-libs-5.7.29-1.el7.x86_64 mysql-community-common-5.7.29-1.el7.x86_64原创 2022-04-22 09:01:43 · 254 阅读 · 0 评论 -
Hadoop集群搭建__3.远程工具连接
一、使用Xshell连接虚拟机新建会话设置主机设置用户账号密码连接虚拟机连接成功二、使用Notepad++连接虚拟机修改配置文件选择NPPFTP插件,选择shownppftp选项选择profile settings配置主机信息连接虚拟机,选择tunabook100选择对应的配置文件就可以进行编辑了...原创 2021-10-10 17:20:25 · 484 阅读 · 0 评论 -
Hadoop集群搭建__2.网络环境配置
一、设置VM网络二、设置主机网络三、设置虚拟机网络配置网络地址文件vim /etc/sysconfig/network-scripts/ifcfg-ens33TYPE="Ethernet"PROXY_METHOD="none"BROWSER_ONLY="no"# 修改的内容BOOTPROTO="static"DEFROUTE="yes"IPV4_FAILURE_FATAL="no"IPV6INIT="yes"IPV6_AUTOCONF="yes"IPV6_DEFR原创 2021-10-10 17:07:10 · 370 阅读 · 0 评论 -
Hadoop集群搭建__7.克隆虚拟机
一、虚拟机的克隆虚拟机右键>管理>克隆下一步选择克隆源创建完整克隆选择虚拟机位置克隆完成重复上述步骤创建tunabook103、tunabook104二、虚拟机配置配置网络地址tunabook102vim /etc/sysconfig/network-scripts/ifcfg-ens33# 修改的内容IPADDR=192.168.10.102vim /etc/hostname# 修改的内容tunabook102rebootpi原创 2021-10-10 22:25:00 · 530 阅读 · 0 评论 -
Hadoop集群搭建__8.安装zookeeper
一、ZooKeeper的安装tunabook101下载zookeeper安装包到/export/server解压zookeeper安装包tar -zxvf zookeeper-3.4.6.tar.gz将文件夹重命名mv zookeeper-3.4.6 zookeeper修改环境变量vim /etc/profile# 新增加的内容export ZOOKEEPER_HOME=/export/server/zookeeperexport PATH=$PATH:$ZOO原创 2021-10-10 20:08:16 · 162 阅读 · 0 评论 -
Hadoop集群搭建__6.卸载重装MySQL
一、卸载系统自带的mariadb查看系统中的mariadbrpm -qa|grep mariadb卸载mariadbrpm -e mariadb-libs --nodeps检查系统中是否存在mariadbrpm -qa|grep mariadb二、卸载MySQL关闭mysql服务systemctl stop mysqld.service查找安装mysql的rpm包rpm -qa | grep -i mysql 卸载mysqlyum remov原创 2021-10-10 18:32:40 · 2167 阅读 · 0 评论 -
Hadoop集群搭建__5.卸载重装JDK
一、卸载虚拟机自带的JDKrpm -qa | grep -i java | xargs -n1 rpm -e --nodeps二、安装JDK上传jdk到/export/server下解压到当前目录tar -zxvf jdk-8u65-linux-x64.tar.gz 删除安装包(可选)rm -rf jdk-8u65-linux-x64.tar.gz配置环境变量vim /etc/profile# 新增加的内容export JAVA_HOME=/export/se原创 2021-10-10 18:02:43 · 1605 阅读 · 0 评论 -
Hadoop集群搭建__1.Linux、CentOS7系统的安装
选择新的虚拟机自定义配置下一步稍后安装系统选择操作系统命名虚拟机配置处理器设置虚拟机内存设置网络类型选择IO类型选择磁盘类型创建磁盘方式设置磁盘容量磁盘文件存储位置完成安装选择Linux镜像文件开启虚拟机选择安装系统回车继续选择语言配置时间软件选择系统分区配置网络2. 开始安装3. 设置root用户密码4. 创建普通用户5. 重启系统6. 接收许可.原创 2021-10-09 14:27:58 · 197 阅读 · 0 评论 -
Linux上JDK(Java)的安装
上传安装包到/export/server下jdk-8u65-linux-x64.tar.gz解压到当前目录tar -zxvf jdk-8u65-linux-x64.tar.gz删除红色安装包(可选)rm -rf jdk-8u65-linux-x64.tar.gz配置环境变量vim /etc/profile #G + oexport JAVA_HOME=/export/server/jdk1.8.0_65export PATH=$PATH..原创 2021-10-07 13:02:45 · 102 阅读 · 0 评论 -
Hadoop集群搭建__4.安装必要的软件
一、安装epel-releaseyum install -y epel-release二、安装net-toolyum install -y net-tools三、安装vimyum install -y vim四、防火墙相关关闭防火墙systemctl stop firewalld关闭防火墙开机自启systemctl disable firewalld.service五、关闭selinuxvim /etc/selinux/config# This file c原创 2021-10-10 18:33:42 · 676 阅读 · 0 评论 -
Hadoop集群搭建__9.Hadoop安装
一、Hadoop安装上传文件到/export/server(tunabook102)(tunabook103)(tunabook104)解压缩文件(tunabook102)(tunabook103)(tunabook104)tar zxvf hadoop-3.3.0-Centos7-64-with-snappy.tar.gz配置环境变量(tunabook102)(tunabook103)(tunabook104)vim /etc/profile# 新增加的代码export H原创 2021-10-10 23:43:45 · 247 阅读 · 0 评论 -
Hive的安装与环境配置
一、Hive的安装上传安装包到==/export/server/==文件夹下解压文件夹原创 2021-10-14 21:07:38 · 141 阅读 · 0 评论 -
Presto安装与配置
一、Presto-Server安装一、环境要求linux或者MacOSJava8 64位Python 2.4+二、Java8安装安装yum install java-1.8.0-openjdk* -y查看java版本java -version三、下载解压Presto安装包下载安装包点击官网下载上传presto-server-0.245.1.tar到 hadoop01 的/export/server目录解压tar -xzvf presto-serv原创 2021-11-05 07:44:28 · 4418 阅读 · 2 评论 -
ZooKeeper中存储的kafka信息
1. /kafka/brokers/ids2. /kafka/brokers/topics/first/partitions/0/state3. /kafka/controller原创 2022-06-14 17:01:14 · 161 阅读 · 0 评论 -
Kafka的数据有序性
1. Kafka的数据有序性2. 如何确保数据有序性原创 2022-06-14 17:00:03 · 1315 阅读 · 0 评论 -
Kafka数据去重、幂等性、事务相关
1. 数据传递语义2. 幂等性3. Kafka事务原创 2022-06-14 16:59:07 · 857 阅读 · 0 评论 -
Kafka数据可靠性和ACK应答机制
1. kafka生产者发送数据流程2. ack应答级别3. 数据可靠性条件4. 可靠性分析原创 2022-06-14 16:58:03 · 800 阅读 · 0 评论 -
Kafka生产者如何提高吞吐量
1. 影响Kafka生产者吞吐量的因素2. Kafka生产者Java实现原创 2022-06-14 16:56:05 · 1307 阅读 · 0 评论 -
Kafka生产者分区发送数据
1. Kafka分区的优点2. Kafka默认分区器DefaultPartitioner3. Java代码实现功能4. 自定义分区器原创 2022-06-10 17:41:18 · 2917 阅读 · 0 评论 -
Kafka同步发送数据
1. Kafka同步发送数据流程2. 代码实现原创 2022-06-10 17:39:47 · 1162 阅读 · 0 评论 -
Kafka异步发送数据
1. 异步发送过程2. 带回调函数的异步发送过程3. java实现原创 2022-06-10 17:38:47 · 2179 阅读 · 1 评论 -
Kafka~Kafka生产者的重要参数
Kafka生产者重要参数参数名称描述bootstrap.servers生产者连接集群所需的 broker 地址清单。例如hadoop102:9092,hadoop103:9092,hadoop104:9092,可以设置 1 个或者多个,中间用逗号隔开。注意这里并非需要所有的 broker 地址,因为生产者从给定的 broker里查找到其他 broker信息。key.serializer和 value.serializer指定发送消息的 key 和 value 的序列化类型。一原创 2022-05-25 21:36:39 · 153 阅读 · 0 评论 -
Kafka~Kafka生产者发送数据流程
一、发送原理在消息发送的过程中,设计到了两个线程:main线程和Sender线程。在main线程中创建了一个双端队列RecordAccumulator。main线程将消息发送给RecordAccumulator,Sender线程不断从RecordAccumulator中拉取消息发送到Kafka Broker二、发送过程...原创 2022-05-25 21:36:03 · 356 阅读 · 0 评论 -
Kafka~kafka-console-consumer.sh
1.参数|参数|描述||–bootstrap-server|连接的Kafka Broker主机名称和端口号||–topic|操作的topic名称||–from-beginning|从头开始消费||–group|指定消费者组名称|2.实例消费first主题中的数据bin/kafka-console-consumer.sh \--bootstrap-server node1:9092 \--topic first把主题中所有的数据都读取出来(包括历史数据)bin/kafka-c原创 2022-05-25 21:11:54 · 1721 阅读 · 0 评论 -
Kafka~kafka-console-producer.sh
1.参数参数描述–bootstrap-server连接的Kafka Broker主机名称和端口号–topic操作的topic名称2.实例发送消息bin/kafka-console-producer.sh \--bootstrap-server node1:9092 \--topic first原创 2022-05-25 21:11:21 · 492 阅读 · 0 评论 -
Kafka~kafka-topics.sh
1.参数参数描述–bootstrap-server连接的Kafka Broker主机名称和端口号–topic操作的topic名称–create创建主题–delete删除主题–alter修改主题–list查看所有主题–describe查看主题详细描述–partition设置分区数–replication-factor设置分区副本–config更新系统默认的配置2.实例查看当前服务器中的所有topicb原创 2022-05-25 21:10:44 · 327 阅读 · 0 评论 -
Kafka~Kafka命令行参数使用教程
一、kafka-topics.sh1.参数参数描述–bootstrap-server连接的Kafka Broker主机名称和端口号–topic操作的topic名称–create创建主题–delete删除主题–alter修改主题–list查看所有主题–describe查看主题详细描述–partition设置分区数–replication-factor设置分区副本–config更新系统默认的配置2.实例查原创 2022-05-25 21:09:49 · 552 阅读 · 0 评论 -
Kafka~为什么要先停止Kafka才能停止ZooKeeper
停止Kafka集群时,一定要等Kafka所有节点进程全部停止后再停止ZooKeeper集群。因为ZooKeeper集群当中记录着Kafka集群相关信息,ZooKeeper集群一旦先停止,Kafka集群就没有办法再获取停止进程的信息,就只能手动杀死Kafka进程了...原创 2022-05-25 21:08:58 · 416 阅读 · 0 评论 -
Kafka~Kafka基础架构
一、Producer消息生产者,就是向Kafka broker发消息的客户端二、Consumer消息消费者,向Kafka broker取消息的客户端三、Consumer Group消费者组,由多个consumer组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者四、Broker一台Kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个原创 2022-05-25 21:07:31 · 88 阅读 · 0 评论