kafka
文章平均质量分 91
娄继涛
生有涯,知无涯;
展开
-
2021大数据学习路线(基于自身技术栈)
一、Linux1)常用命令(文件查看编辑、用户权限操作、服务器资源操作、进程端口查看等);2)高级工具命令: rpm、yum、awk、ssh免密、grep、crontab等;3)常用组件的安装(虚拟机克隆、NAT/桥接等网络配置原理、jdk安装、MySQL安装、时间同步服务等)4)shell脚本编程(/bin/bash)二、zookeeper1)安装部署2)node类型,数据存储3)paxos算法、zab原理,集群脑裂4)监听器原理,选举机制和具体过程,写数据流...原创 2021-02-03 17:56:19 · 3507 阅读 · 0 评论 -
kafka的简单shell命令管理
启动kafka步骤1、先启动zookeeper(kafka自带zookeeper的,可以启动自身的)当前目录为bin目录上一级./bin/zookeeper-server-start.sh config/zookeeper.properties &(启动后,基本上当前节点被日志占据了,后续操作另开窗口)2、启动kafka服务 当前目录为bin目录上一级./bin/kaf原创 2018-04-16 15:59:03 · 1282 阅读 · 2 评论 -
kafka入门教程
一、基本概念组件介绍Kafka是一个分布式的、可分区的、可复制的消息系统。它提供了普通消息系统的功能,但具有自己独特的设计。这个独特的设计是什么样的呢?首先让我们看几个基本的消息系统术语:Kafka将消息以topic为单位进行归纳。将向Kafka topic发布消息的程序成为producers.将预订topics并消费消息的程序成为c转载 2018-03-23 09:31:28 · 356 阅读 · 0 评论 -
java代码实现kafka生产者和消费者过程
一、准备的环境之前配置好的单节点的zookeeper和单节点kafka,安装是在腾讯云上的。前两篇博客有zookeeper的安装和kafka的安装。zk和kafka同时跑在一台机器上,因为我没有太多的服务器,而且只是简单的java demo,没必要上来就搞集群。这里碰到的一个问题Exception in thread "main" kafka.common.FailedToSendMessag...原创 2018-04-26 12:48:47 · 6633 阅读 · 0 评论 -
shell脚本,一次性启动kafka集群
版本centos6.5,64位操作系统,已配置JDK1.8,三个节点在s121节点上可以免密登录到另外两个节点,另外kafka0.9.0.1的安装目录相同。 修改了主机名,并在每个节点的hosts文件中设置了映射 脚本内容:#!/bin/bashi=121for (( i=121 ; i <= 123 ; i = $i + 1 )) ; do ...原创 2019-01-24 17:45:07 · 1440 阅读 · 0 评论