![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
kafka
cjrjc
我的小目标:北京有套房
展开
-
Kafka文件存储机制那些事
转载自:https://tech.meituan.com/kafka-fs-design-theory.htmlKafka是什么Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache转载 2017-11-14 17:09:16 · 161 阅读 · 0 评论 -
Kafka 的优化及在商业平台中的应用
问题导读:1.怎样保证保证Kafka端到端的消息可靠性?2.怎样防止由于越权导致数据方面的问题?3.怎样设计Kafka应用架构?端到端的消息可靠性机制的保证此处端到端的消息可靠性指生产者生产的消息,一定可以被消费者所消费。在 Kafka 典型的应用场景中,它包含三个层面的意思:1,在绝大部分场景下,生产者产生的消息能够发布到 Kafka Broker 集群上转载 2017-11-15 21:03:24 · 1096 阅读 · 0 评论 -
大数据架构:flume-ng+Kafka+Storm+HDFS 实时系统组合
个人观点:大数据我们都知道hadoop,但并不都是hadoop.我们该如何构建大数据库项目。对于离线处理,hadoop还是比较适合的,但是对于实时性比较强的,数据量比较大的,我们可以采用Storm,那么Storm和什么技术搭配,才能够做一个适合自己的项目。下面给大家可以参考。可以带着下面问题来阅读本文章:1.一个好的项目架构应该具备什么特点?2.本项目架构是如何保证数据准确性的?3转载 2017-11-15 21:02:01 · 185 阅读 · 0 评论 -
kafka集群搭建和使用Java写kafka生产者消费者
1 kafka集群搭建 Java代码 1.zookeeper集群 搭建在110, 111,112 2.kafka使用3个节点110, 111,112 修改配置文件config/server.properties broker.id=110 host.name=192.168.1.110 log.dirs=/usr/local/kafka_2.10-0.转载 2017-11-15 20:46:19 · 137 阅读 · 0 评论 -
kafka接入学习
什么是kafka?Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通过Hado转载 2017-11-15 20:43:54 · 1087 阅读 · 0 评论 -
kafka常用命令行(转)
创建kafka topicbin/kafka-topics.sh --zookeeper node01:2181 --create --topic t_cdr --partitions 30 --replication-factor 2注: partitions指定topic分区数,replication-factor指定topic每个分区的副本数partitions分区数:转载 2018-01-23 09:08:13 · 414 阅读 · 0 评论 -
搭建kafka2.12-1.0.0+storm1.1.1集群
各应用程序及版本CentOS65jdk1.8.0_121storm1.1.1zookeeper3.4.10kafka2.12-1.0.0redis4.0.5storm、zookeeper、kafka可从apache.org网站获取相应版本,建议版本与本文档一致;否则后续的示例程序可能会有乱码等不可知异常。服务器IP及拓朴结构storm安装配置storm安装在/app/apache-storm-1....原创 2018-01-31 15:13:54 · 1471 阅读 · 0 评论 -
MQ详解及四大MQ比较
一、消息中间件相关知识1、概述消息队列已经逐渐成为企业IT系统内部通信的核心手段。它具有低耦合、可靠投递、广播、流量控制、最终一致性等一系列功能,成为异步RPC的主要手段之一。当今市面上有很多主流的消息中间件,如老牌的ActiveMQ、RabbitMQ,炙手可热的Kafka,阿里巴巴自主开发RocketMQ等。 2、消息中间件的组成 2.1 Broker消息服务器...转载 2019-01-11 20:58:57 · 34020 阅读 · 1 评论