大数据之Kafka 学习记录

原创 2018年04月16日 14:20:37

Kafka 分布式消息队列


包含producer、broker、consumer、zookeeper。

producer向broker发送消息,可通过任意broker发现其他broker。

消息组成;topic,key、value、timestamp

broker是producer和consumer之间的桥梁。

每个消息保存成多副本,默认是3.默认保存一周。

用户划分message的逻辑概念,一个topic可以分布到不同broker上。

Kafka横向扩展和一切并行化的基础,每个topic至少被切分成1partition。

消息在Partition中是有编号的,称为“offset

KafkaPartition为单位对消息进⾏备份(replica) ,每个partition可以配置至少有1replica 。

一个partition只能被一个consumer消费。

Kafka安装部署

首先启动zookeeper:

 

bin/zookeeper-server-start.sh  config/zookeeper.properties &

使用命令查看zookeeper是否启动成功:jps | grep Quorum

再启动broker:

bin/kafka-server-start.sh -daemonconfig/server.properties

使用命令查看kafkaBroker是否启动更成功:jps | grep Kafka

创建topic,名字为test,包含5个分区,副本数为1,数据保留时长为2天(默认是1天)毫秒:

bin/kafka-topics.sh --create --zookeeper master:2181--replication-factor 1 --partitions 5 --topic test --configdelete.retention.ms=172800000

producer:bin/kafka-console-producer.sh --broker-list master:9092--topic test

consumer:bin/kafka-console-consumer.sh --bootstrap-servermaster:9092 --topic test --from-beginning

大数据_Kafka_Kafka入门教程

问题导读 1.Kafka独特设计在什么地方? 2.Kafka如何搭建及创建topic、发送消息、消费消息? 3.如何书写Kafka程序? 4.数据传输的事务定义有哪三种? 5.Kafka判断一个节点...
  • u010003835
  • u010003835
  • 2016年08月11日 17:49
  • 3463

记录自己的大数据学习之路

function [cid,nr,centers] = mykmeans(x,k,weight,C) warning off [n,d] = size(x); [n1,...
  • u013530799
  • u013530799
  • 2017年10月18日 21:02
  • 466

Kafka: 大数据处理的利器

当前,友盟消息推送平台的日志服务日均接收二十几亿的请求,预计年底日均请求会突破六十亿。这其中,不得不提到一款大数据处理的利器:Kafka。Kafka 是什么?是小说《变形记》的作者?其实,今天要提...
  • abcd1f2
  • abcd1f2
  • 2015年07月29日 14:35
  • 1622

大数据Spark“蘑菇云”行动第53课: Spark大型项目广告点击项目技术骨架实现之Spark+Kafka+Flume实战 项目!!!大项目!!!超大型大数据项目!!!

大数据Spark“蘑菇云”行动第53课: Spark大型项目广告点击项目技术骨架实现之Spark+Kafka+Flume实战...
  • duan_zhihua
  • duan_zhihua
  • 2016年09月23日 21:35
  • 618

大数据技术之Kafka是什么

大数据技术之Kafka
  • haohaixingyun
  • haohaixingyun
  • 2016年05月03日 22:52
  • 702

你的大数据学习路线

原址 KAFKA技术分享 引言     最近有很多人问我如何学习大数据?我也是思考了很多时日才动笔写下此文。一方面我自己还只是大数据学习中的一个小学生,贸然动笔怕贻笑大方;另...
  • u010164190
  • u010164190
  • 2017年05月19日 23:06
  • 1475

Kafka在大数据生态系统中的价值

在最近几年,Apache Kafka的使用量急剧增长。目前Kafka的用户包括Uber,Twitter,Netflix,LinkedIn,Yahoo,Cisco,Goldman Sachs等等。Kaf...
  • Er8cJiang
  • Er8cJiang
  • 2016年03月17日 16:15
  • 793

大数据学习第一课:虚拟机安装配置

本章主要内容 VirtualBox下安装CentOS7 Minimal版本 Minimal版本Centos7静态IP网络设置 ssh免密登录设置   我们现在身处数据时代,大数据和人工智能已...
  • wangjinnan16
  • wangjinnan16
  • 2017年10月31日 16:50
  • 262

大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程

38套大数据,云计算,架构,数据分析师,Hadoop,Spark,Storm,Kafka,人工智能,机器学习,深度学习,项目实战视频教程视频课程包含:38套大数据和人工智能精品高级课包含:大数据,云计...
  • fishCatcher
  • fishCatcher
  • 2018年02月21日 12:51
  • 229
收藏助手
不良信息举报
您举报文章:大数据之Kafka 学习记录
举报原因:
原因补充:

(最多只允许输入30个字)