大JAVA解决方案

数据科学

Kafka文件的存储机制

Kafka文件的存储机制 同一个topic下有多个不同的partition,每个partition为一个目录,partition命名的规则是topic的名称加上一个序号,序号从0开始。 每一个partition目录下的文件被平均切割成大小相等(默认一个文件是500兆,可以手动去设置)的...

2018-11-13 11:44:31

阅读数:24

评论数:0

多路分流技术flume

[root@consumer42 apache-flume-1.8.0-bin]# cat duokdmultiplexing.conf #example.conf: A single-node Flume configuration #Name the components on this a...

2018-11-10 21:12:50

阅读数:24

评论数:0

Flume 分流

Flume - 快速入门 zsdnr0人评论129人阅读2017-05-25 14:47:53 关于Flume,官方定义如下: Apache Flume is a distributed, reliable, and available system for efficiently c...

2018-11-10 20:51:17

阅读数:31

评论数:0

Flume(NG)架构设计要点及配置实践

Flume(NG)架构设计要点及配置实践 Yanjun 架构师 2016-04-03 架构师(JiaGouX) 我们都是架构师!   Flume NG是一个分布式、可靠、可用的系统,它能够将不同数据源的海量日志数据进行高效收集、聚合、移动,最后存储到一个中心化数据存储系统中。由原来的Fl...

2018-11-10 20:10:19

阅读数:33

评论数:0

自定拦截器flume

# example.conf: A single-node Flume configuration # Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 # Describe/con...

2018-11-10 18:34:05

阅读数:11

评论数:0

kafak 到 hdfs 通过flumes elector.type = replicating 副本发送

#example.conf: A single-node Flume configuration #Name the components on this agent a1.sources = r1 a1.sinks = k1 k2 a1.channels = c1 c2 a1.source.r...

2018-11-10 18:32:57

阅读数:18

评论数:0

Flume性能优化实践

Flume性能优化实践 发表评论 最近公司落地Flume日志采集着实反复了好久,简单记录一下性能优化的核心思路。 初始配置所有batch size、transaction size都是1000,channel的capactiy是10000。 版本一 最初我是按Memory Channel...

2018-11-10 17:28:36

阅读数:21

评论数:0

flume kafak to hdfs

#example.conf: A single-node Flume configuration #Name the components on this agent a1.sources = r1 a1.sinks = k1 a1.channels = c1 #Describe/config...

2018-11-06 13:51:52

阅读数:17

评论数:1

Flume自定义Source、Sink和Interceptor(简单功能实现)

Flume自定义Source、Sink和Interceptor(简单功能实现) 2017年09月07日 10:46:03 qingcongke 阅读数:1570 标签: flume自定义SourceSink拦截器 更多 个人分类: flume 版权声明:本文为博主原创文章,未经博主允许不得转...

2018-10-30 23:11:23

阅读数:25

评论数:0

Kafka配置说明

rilley   博客园 首页 新随笔 联系 订阅 管理 Kafka配置说明   Broker  Configs     Property Default Description broker.id   每个broker都可以用一个唯一的非负...

2018-10-22 09:12:15

阅读数:33

评论数:0

[转]springboot kafka @KafkaListener 批处理消息

d577022740的博客 [转]springboot kafka @KafkaListener 批处理消息 转载自猫头鹰工作室 » Spring Boot 中使用@KafkaListener批量接收消息 参考 http://www.58maisui.com/201...

2018-10-19 18:17:34

阅读数:40

评论数:0

Linux内存被吃掉了,它去哪里了?

Linux内存被吃掉了,它去哪里了? 海林 马哥Linux运维 昨天 在Windows下资源管理器查看内存使用的情况,如果使用率达到80%以上,再运行大程序就能感觉到系统不流畅了,因为在内存紧缺的情况下使用交换分区,频繁地从磁盘上换入换出页会极大地影响系统的性能。而当我们使用free命令查...

2018-09-08 17:17:33

阅读数:26

评论数:0

Linux服务器丢包故障的解决思路及引申的TCP/IP协议栈理论

Linux服务器丢包故障的解决思路及引申的TCP/IP协议栈理论 我们使用Linux作为服务器操作系统时,为了达到高并发处理能力,充分利用机器性能,经常会进行一些内核参数的调整优化,但不合理的调整常常也会引起意想不到的其他问题,本文就一次Linux服务器丢包故障的处理过程,结合Linux内核参数...

2018-07-16 16:30:03

阅读数:71

评论数:0

ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0

yy基础才是编程人员应该深入研究的问题,警告自己问题解决不了时,多从运行原理底层研究后再考虑方案。博客园首页新随笔联系管理订阅随笔- 503  文章- 4  评论- 50 Kafka:ZK+Kafka+Spark Streaming集群环境搭建(九)安装kafka_2.11-1.1.0如何搭建配置...

2018-07-16 09:39:25

阅读数:117

评论数:0

kafka清理数据

2017年08月25日 11:15:25阅读数:2742默认配置server.conf里的核心配置项#最大日志保留大小log.retention.bytes=1073741824#日志保留时间长度log.retention.minutes=10log.segment.delete.delay.ms...

2018-06-30 20:25:29

阅读数:33

评论数:0

Kafka配置说明-server.properties

2017年09月27日 17:43:23阅读数:604以下是kafka_2.10-0.8.2.0的server.properties文件:############################# Server Basics ############################## The i...

2018-06-30 20:19:38

阅读数:51

评论数:0

apache kafka中server.properties配置文件参数说明

2014年07月07日 18:10:18阅读数:30464转自:http://blog.csdn.net/lizhitao/article/details/25667831apache kafka中国社区QQ群:162272557每个kafka broker中配置文件server.properti...

2018-06-30 20:17:32

阅读数:18

评论数:0

漫游Kafka之过期数据清理

2015年11月06日 15:40:56阅读数:23054Kafka将数据持久化到了硬盘上,允许你配置一定的策略对数据清理,清理的策略有两个,删除和压缩。数据清理的方式删除log.cleanup.policy=delete启用删除策略直接删除,删除后的消息不可恢复。可配置以下两个策略:清理超过指定...

2018-06-30 20:11:37

阅读数:49

评论数:0

kafka消费从分区任意位置、分区开头、分区末尾开始消费数据 完整版

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance&quo...

2018-05-11 14:04:42

阅读数:373

评论数:0

kafka 从分区任意位置、分区开头、分区末尾开始消费数据

kafka 从分区任意位置、分区开头、分区末尾开始消费数据2017年12月11日 16:38:03阅读数:1413最近就kafka消费者消费数据时,消费者提交的offset与同事们有一些分歧和讨论,这里记录一下自己的研究。我们知道redis和kafka都可以作为消息队列使用,都可以完成发布订阅功能...

2018-05-11 13:42:14

阅读数:132

评论数:0

提示
确定要删除当前文章?
取消 删除
关闭
关闭