大JAVA解决方案

数据科学

kafka中处理超大消息的一些考虑

    时间:2015-02-01 00:38:26      阅读:5854      评论:0      收藏:0      [点我收藏+] 标签: Kafka设计的初衷是迅速处理短小的消息,一般10K大小的消息吞吐性能最好(可参见LinkedIn的kafka性能测试)。但有时候,我们...

2018-12-12 09:12:01

阅读数:30

评论数:0

Kafka主要参数详解server.properties

  一、相关参数配置 ############################ System ############################# #唯一标识在集群中的ID,要求是正数。 broker.id=0 #服务端口,默认9092 port=9092 #监听地址,不设为所...

2018-12-12 09:09:04

阅读数:43

评论数:0

kafkamanager的经典作用

    1. 管理多集群 2. 便捷的监控集群状态(topics,consumers,offsets,brokers,副本分布,分区分布) 3. 运行优先副本选举 4. 可以选择指定的broker去产生副本分布策略。 5. 运行分区分布策略,根据4产生的分布策略 6. 根据自定义配置...

2018-12-11 15:42:50

阅读数:13

评论数:0

监控io性能、free、ps、查看网络状态和linux抓包工具

  2017年11月28日 17:38:15 mojianbin 阅读数:6484 一、监控io性能  1、iostat -x 磁盘使用  关注最后一列的数值,数值大说明磁盘有异常 2、iotop 磁盘使用  安装:yum install -y iotop  二、free命令  查看内存使...

2018-12-11 15:28:05

阅读数:32

评论数:0

kafka Manager监控工具的安装与使用

  2018年02月25日 21:22:40 Running_Tiger 阅读数:705 标签: 监控工具集群 更多 个人分类: 大数据开发 版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/qq_41455420/article/detail...

2018-12-11 13:19:46

阅读数:20

评论数:0

Ganglia在CentOS7_x86_64上的yum安装与配置 可以使用有效果

Ganglia在CentOS7_x86_64上的yum安装与配置 2017年11月28日 22:32:33 agent_x 阅读数:189 标签: gangliacentoshadoop 0 前记: yum安装Ganglia比起make install 安装Ganglia方式要简单很多,因为...

2018-11-21 16:47:32

阅读数:55

评论数:0

Kafka文件的存储机制

Kafka文件的存储机制 同一个topic下有多个不同的partition,每个partition为一个目录,partition命名的规则是topic的名称加上一个序号,序号从0开始。 每一个partition目录下的文件被平均切割成大小相等(默认一个文件是500兆,可以手动去设置)的...

2018-11-13 11:44:31

阅读数:41

评论数:0

多路分流技术flume

[root@consumer42 apache-flume-1.8.0-bin]# cat duokdmultiplexing.conf #example.conf: A single-node Flume configuration #Name the components on this a...

2018-11-10 21:12:50

阅读数:66

评论数:0

Flume 分流

Flume - 快速入门 zsdnr0人评论129人阅读2017-05-25 14:47:53 关于Flume,官方定义如下: Apache Flume is a distributed, reliable, and available system for efficiently c...

2018-11-10 20:51:17

阅读数:84

评论数:0

Flume(NG)架构设计要点及配置实践

Flume(NG)架构设计要点及配置实践 Yanjun 架构师 2016-04-03 架构师(JiaGouX) 我们都是架构师!   Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Fl...

2018-11-10 20:10:19

阅读数:49

评论数:0

自定拦截器flume

# example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/con...

2018-11-10 18:34:05

阅读数:21

评论数:0

kafak 到 hdfs 通过flumes elector.type = replicating 副本发送

#example.conf: A single-node Flume configuration #Name the components on this agent a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 a1.source.r...

2018-11-10 18:32:57

阅读数:26

评论数:0

Flume性能优化实践

Flume性能优化实践 发表评论 最近公司落地Flume日志采集着实反复了好久,简单记录一下性能优化的核心思路。 初始配置所有batch size、transaction size都是1000,channel的capactiy是10000。 版本一 最初我是按Memory Channel...

2018-11-10 17:28:36

阅读数:26

评论数:0

flume kafak to hdfs

#example.conf: A single-node Flume configuration #Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #Describe/config...

2018-11-06 13:51:52

阅读数:35

评论数:1

Flume自定义Source、Sink和Interceptor(简单功能实现)

Flume自定义Source、Sink和Interceptor(简单功能实现) 2017年09月07日 10:46:03 qingcongke 阅读数:1570 标签: flume自定义SourceSink拦截器 更多 个人分类: flume 版权声明:本文为博主原创文章,未经博主允许不得转...

2018-10-30 23:11:23

阅读数:39

评论数:0

Kafka配置说明

rilley   博客园 首页 新随笔 联系 订阅 管理 Kafka配置说明   Broker  Configs     Property Default Description broker.id   每个broker都可以用一个唯一的非负...

2018-10-22 09:12:15

阅读数:49

评论数:0

[转]springboot kafka @KafkaListener 批处理消息

d577022740的博客 [转]springboot kafka @KafkaListener 批处理消息 转载自猫头鹰工作室 » Spring Boot 中使用@KafkaListener批量接收消息 参考 http://www.58maisui.com/201...

2018-10-19 18:17:34

阅读数:117

评论数:0

Linux内存被吃掉了,它去哪里了?

Linux内存被吃掉了,它去哪里了? 海林 马哥Linux运维 昨天 在Windows下资源管理器查看内存使用的情况,如果使用率达到80%以上,再运行大程序就能感觉到系统不流畅了,因为在内存紧缺的情况下使用交换分区,频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我们使用free命令查...

2018-09-08 17:17:33

阅读数:31

评论数:0

Linux服务器丢包故障的解决思路及引申的TCP/IP协议栈理论

Linux服务器丢包故障的解决思路及引申的TCP/IP协议栈理论 我们使用Linux作为服务器操作系统时,为了达到高并发处理能力,充分利用机器性能,经常会进行一些内核参数的调整优化,但不合理的调整常常也会引起意想不到的其他问题,本文就一次Linux服务器丢包故障的处理过程,结合Linux内核参数...

2018-07-16 16:30:03

阅读数:96

评论数:0

ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0

yy基础才是编程人员应该深入研究的问题,警告自己问题解决不了时,多从运行原理底层研究后再考虑方案。博客园首页新随笔联系管理订阅随笔- 503  文章- 4  评论- 50 Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0如何搭建配置...

2018-07-16 09:39:25

阅读数:284

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭