涂作权的博客

成功就是将个人潜能发挥到极限!&&以大多数人的努力程度之低,根本还轮不到拼天赋!...

排序:
默认
按更新时间
按访问量
RSS订阅

最简单的kafka demo案例

1、kafka版本:kafka_2.11-1.0.1 2、配置pom.xml <?xml version="1.0" encoding="UTF-8"?> <p...

2019-02-27 11:52:27

阅读数 3591

评论数 1

rocketmq官网和其它资料

rocketmq官网: http://rocketmq.apache.org/ rocketmq的其它项目 https://github.com/apache/rocketmq-externals

2019-01-31 14:41:52

阅读数 6540

评论数 0

安装单机版RabitMQ,java操作rabitmq案例(来自同学给的资料,并做升级到最新版本修改,补充问题修改)

一、安装、常见操作 1、安装环境 yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel 2、安装erlang wget http://erlang.org/download/otp_src_18.3...

2018-08-08 14:03:48

阅读数 502

评论数 3

数据采集之解析Mysql的binlog日志发送至Kafka实时消费(转:https://blog.csdn.net/liguohuabigdata/article/details/79472777)

本文采用Maxwell来实现实时解析mysql的binlog日志发送至kafka 1、开启mysql binlog 环境中mysql是docker容器,所以需要进入容器修改mysql配置. docker exec -it ef07dab4da9d bash 然后进入/...

2018-06-28 17:46:15

阅读数 759

评论数 0

必知必会的RocketMQ消息类型

普通消息 普通消息也叫做无序消息,简单来说就是没有顺序的消息,producer 只管发送消息,consumer 只管接收消息,至于消息和消息之间的顺序并没有保证,可能先发送的消息先消费,也可能先发送的消息后消费。 举个简单例子,producer 依次发送 order id 为 1、2、3 的消息到...

2017-10-24 02:05:57

阅读数 2642

评论数 0

RocketMQ特性、专业术语(Producer,Producer Group,Consumer Group,Topic,Message,Tag,Broker,Name Server)等

RocketMQ 是什么 Github 上关于 RocketMQ 的介绍: RcoketMQ 是一款低延迟、高可靠、可伸缩、易于使用的消息中间件。具有以下特性: 支持发布/订阅(Pub/Sub)和点对点(P2P)消息模型 在一个队列中可靠的先进先出(FIFO)和严格的顺序传递 支持拉(pull...

2017-10-24 02:01:20

阅读数 4382

评论数 0

RocketMq案例,生产者,消费者,消息订阅

1、RocketMq集群配置参考:http://blog.csdn.net/tototuzuoquan/article/details/78314572使用的rocketmq的ip等是上面博文提及的ip等内容2、创建RocketMq工程工程目录结构如下: 3、编写pom.xml文件<?xm...

2017-10-24 01:59:47

阅读数 6336

评论数 2

RocketMQ与Kafka对比(18项差异)

转自:https://github.com/alibaba/RocketMQ/wiki/rmq_vs_kafka  (2015年前的对比比较结果)淘宝内部的交易系统使用了淘宝自主研发的Notify消息中间件,使用Mysql作为消息存储媒介,可完全水平扩容,为了进一步降低成本,我们认为存储部分可以进...

2017-10-24 01:08:50

阅读数 318

评论数 0

rocketmq集群安装部署过程(4.0.0版本)、安装中的常见问题举例

本篇博文参考:http://www.cnblogs.com/quchunhui/p/7126868.html,然后按照自己的环境进行重新编写准备工作:下载rocketmq-all-4.0.0-incubating-bin-release.zip,下载地址:http://rocketmq.apach...

2017-10-22 23:44:43

阅读数 2108

评论数 1

关于消息队列的技术

1、ActiveMQ(消息中间件) 2、rocketmq(分布式消息中间件) 3、kafka(分布式消息队列) 4、MetaQ(分布式消息中间件) 5、HQueue(基于HBase的消息队列) 6、KiteQ(基于Go 的消息中间件) 7、ZeroMQ(基于消息队列的多线程网络库) ...

2017-10-06 12:48:36

阅读数 346

评论数 0

Spark Streaming从Kafka中获取数据,并进行实时单词统计,统计URL出现的次数

1、创建Maven项目创建的过程参考:http://blog.csdn.net/tototuzuoquan/article/details/745713742、启动KafkaA:安装kafka集群:http://blog.csdn.net/tototuzuoquan/article/details...

2017-07-13 23:57:23

阅读数 4356

评论数 1

自定义Flume拦截器,并将收集的日志存储到Kafka中(案例)

1.引入POM文件如果想调用Flume,需要引入flume相关的jar包依赖,jar包依赖如下:<dependencies> <dependency> <groupId>org.apache.flume</group...

2017-06-25 13:45:28

阅读数 2267

评论数 2

Strom+Kafka + redis实时计算单词出现频率的案例

案例要实现的目标在Kafka的shell 客户端中输入内容,通过Storm实时去kafka中取数据并进行计算单词出现的次数,并且实时把这些数据信息存储到redis中。代码编写编写Pom文件,代码如下:<?xml version="1.0" encoding="U...

2017-06-21 11:12:16

阅读数 2725

评论数 0

Kafka整体结构图、Consumer与topic关系、Kafka消息分发、Consumer的负载均衡、Kafka文件存储机制、Kafka partition segment等(来自学习资料)

一、 课程介绍课程名称: Kafka技术增强 注:学习本课程请先学习Kafka基础 课程目标: 通过本模块的学习,能够掌握Kafka的负载均衡、Producer生产数据、Kafka文件存储机制、Kafka自定义partition 课程大纲: 1、 Kafka...

2017-06-18 22:25:44

阅读数 10347

评论数 5

Kafka中topic的Partition,Kafka为什么这么快,Consumer的负载均衡及consumerGroup的概念(来自学习笔记)

1.1. Kafka中topic的Partition 在Kafka文件存储中,同一个topic下有多个不同partition,每个partition为一个目录,partiton命名规则为topic名称+有序序号,第一个partiton序号从0开始,序号最大值为partitions数量减1。 ...

2017-06-18 20:10:17

阅读数 8770

评论数 0

Kafka的producer案例,Kafka的consumer案例

1、编写一个Producer代码:package kafka;import kafka.javaapi.producer.Producer; import kafka.producer.KeyedMessage; import kafka.producer.ProducerConfig;impor...

2017-06-18 19:58:51

阅读数 604

评论数 0

查看当前服务器中的所有的topic,创建topic,删除topic,通过shell命令发送消息,通过shell消费消息,查看topic详情,对分区数进行修改

一、 Kafka常用操作命令 查看当前服务器中的所有topic[root@hadoop3 kafka]# bin/kafka-topics.sh --list --zookeeper hadoop11:2181 [root@hadoop3 kafka]#信息写入到  创建topic[root...

2017-06-18 15:33:42

阅读数 7266

评论数 0

Kafka集群安装配置,kafka后台运行的方式,Kafka配置文件中的参数说明

1、Kafka集群部署1.1集群部署的基本流程下载安装包、解压安装包、修改配置文件、分发安装包、启动集群1.2集群部署的基础环境准备安装前的准备工作(zk集群已经部署完毕)  关闭防火墙 chkconfig iptables off && setenforce 0 ...

2017-06-18 13:26:08

阅读数 5494

评论数 0

Kafka是什么,JMS是什么,常见的类JMS消息服务器,为什么需要消息队列(来自学习笔记)

1、Kafka是什么 Apache Kafka是一个开源消息系统,由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。  Kafka最初是由LinkedIn开发,并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时...

2017-06-18 10:32:54

阅读数 5193

评论数 0

提示
确定要删除当前文章?
取消 删除