- 博客(22)
- 资源 (5)
- 收藏
- 关注
原创 KAFKA 1.0 文档(七):设计
设计1动机2持久化不要害怕文件系统恒定的时间复杂度3效率端到端的批量压缩4生产者负载均衡异步发送5消费者推送 vs 拉取消费位置离线数据加载6消息传递语义7 复本复制日志法定人数ISR和状态机不纯洁的leader选举如果所有副本都失效了怎么办可用性和持久性副本管理8日志压缩日志压缩基础日志压缩提供了什么保证日志压缩细节Configuring The L
2017-12-25 14:10:41 956
原创 KAFKA 1.0 文档(六):消费者配置
新的消费者配置 Name Description 类型 默认值 重要性 bootstrap.servers 用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载,不管哪些server是指定用于bootstrapping。这个列表仅仅影响初始化的hosts(用于发现全部的servers这个列表格式:host1:port1,host2:po
2017-12-20 14:05:38 2775
原创 KAFKA 1.0 文档(五):生产者配置
从0.11.0.0开始生产者配置block.on.buffer.full,metadata.fetch.timeout.ms和timeout.ms已被删除。 以下是Java生产者的配置: name description default import bootstrap.servers 用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载
2017-12-20 13:54:33 1822
原创 kafka 1.0 中文文档(四)--主题级别配置(Topic-Level Configs)
Kafka topic级别的配置参数。首先是可以在配置文件中设置全局性的topic配置参数,其次是可以在创建topic时使用 –confi设置一个或多个自定义的配置。自定义的配置项优先级别会高于全局配置。 这是在创建一个topic时自定义了最大的消息字节数和消息持久化参数: > bin/kafka-topics.sh –zookeeper localhost:2181 –create
2017-12-20 10:16:14 5711
原创 kafka 1.0 中文文档(三)--Broker的配置
3.1 Broker Configs基本配置如下: 1. broker.id 2. log.dirs 3. zookeeper.connect下面将更详细地讨论主题级别的配置和默认设置。 名称 描述 类型 默认 重要性 zookeeper.connect Zookeeper 主机地址 string high adverti
2017-12-20 10:12:55 6697
原创 kafka 1.0 中文文档(二) -- APIS
1 Producer API2 Consumer API3 Streams API4 Connect API5 AdminClient API6传统的APIkafka包括五个核心apis: 1. Producer API允许应用程序将数据流发送到Kafka集群中的主题。 2. Consumer API允许应用程序从Kafka集群中的主题读取数据流。 3. Streams AP
2017-12-18 16:53:21 3600
原创 KAFKA 1.0 文档(一):快速入门
1简介主题和日志分布式生产者消费者保证kafka作为消息系统卡夫卡作为存储系统kafka作为数据流处理整合2 使用案例消息处理Metrics度量日志收集流处理事件溯源Event Sourcing提交日志Commit Log3 快速开始Step 1 下载代码Step 2 启动服务Step 3 创建一个主题Step 4 发送消息Step 5 启动消费者Ste
2017-12-18 16:47:41 2273
原创 NIFI 系统属性 System Properties之ZooKeeper Properties
ZooKeeper属性NiFi依靠Apache ZooKeeper来确定集群中的哪个节点应该扮演主节点的角色,哪个节点扮演集群协调器的角色。 必须配置这些属性才能使NiFi加入群集。 Property Description nifi.zookeeper.connect.string 连接到Apache ZooKeeper所需的连接字符串。 这是一个逗号分隔的hostname:port
2017-12-18 14:56:40 734
原创 NIFI 系统属性 System Properties之Cluster Properties
集群通用属性设置NiFi集群时,应在所有节点上以相同的方式配置这些属性。 Property Description nifi.cluster.protocol.heartbeat.interval 节点应该向集群协调器发出心跳的时间间隔。 默认值是5秒。 nifi.cluster.protocol.is.secure 这表示集群通信是否需要安全严证。 默认值是false。集群
2017-12-18 14:56:17 410
原创 NIFI 系统属性 System Properties之Web Properties
Property Description nifi.web.war.directory web war包的目录. The default value is ./lib. nifi.web.http.host web 主机名称。默认空 nifi.web.http.port web端口 8080. nifi.web.http.port.forwarding 将传入的HT
2017-12-18 14:51:23 654
原创 NIFI 系统属性 System Properties之Provenance Repository来源库
来源库 Provenance Repository来源库包含有关数据来源的信息。 接下来的四个部分是Provenance Repository属性。 nifi.provenance.repository.implementation Provenance Repository实现。缺省值是org.apache.nifi.provenance.PersistentProvenanceReposit
2017-12-18 14:47:43 869
原创 NIFI 系统属性 System Properties之FlowFile存储库和内容库
FlowFile存储库FlowFile存储库会跟踪系统中每个FlowFile的属性和当前状态。 默认情况下,该存储库与其他所有存储库安装在同一根安装目录中; 但是,如果可能的话,建议在单独的驱动器上进行配置。 Property Description nifi.flowfile.repository.implementation FlowFile 存储库实现。 缺省值是org.apac
2017-12-18 14:45:09 2876
原创 NIFI 系统属性 System Properties之Core Properties
Core Propertiesnifi.properties文件的第一部分是核心属性。 这些属性作为一个整体适用于核心框架。 Property Description nifi.flow.configuration.file* 流程配置文件的位置(即包含当前显示在NiFi图表上的内容的文件)。 默认值是./conf/flow.xml.gz。 nifi.flow.configurat
2017-12-18 14:43:30 1010
原创 NIFI配置 Bootstrap Properties & Notification Services
Bootstrap Propertiesconf目录下的bootstrap.conf文件允许用户配置NiFi应该如何启动的设置。 这包括参数,例如Java堆的大小,运行的Java命令以及Java系统属性。只有在NiFi停止并重新启动之后,对此文件的任何更改才会生效。 Property Description java 指定要运行的完全限定的java命令。 默认情况下,它只是java,但
2017-12-18 14:42:13 1167
原创 maven编译时java.lang.ArrayIndexOutOfBoundsException
java.lang.ArrayIndexOutOfBoundsException: 9480 at org.codehaus.plexus.util.xml.pull.MXParser.parsePI(MXParser.java:2502).....见https://issues.apache.org/jira/browse/MNG-6216升级到apache ma
2017-12-18 14:26:41 5036 5
原创 NIFI 集群状态管理State Management
状态管理NiFi为Processors, Reporting Tasks, Controller Services以及框架本身提供了一种持久化状态的机制。 这允许一个处理器,例如,在NiFi重新启动之后,从它离开的地方恢复。 此外,它允许处理器存储一些信息,以便处理器可以从集群中的所有不同节点访问该信息。 这允许一个节点获取另一个节点离开的位置,或者在集群中的所有节点之间进行协调。Configuri
2017-12-14 17:08:17 1182
原创 NIFI 集群配置 Clustering Configuration
NiFi采用了Zero-Master聚类模式。集群中的每个节点都对数据执行相同的任务,但是每个节点都使用不同的数据集。其中一个节点会自动选择(通过Apache ZooKeeper)作为集群协调器。然后集群中的所有节点将向此节点发送心跳/状态信息,并且此节点负责断开一段时间内没有心跳的节点。另外,当新节点选择加入集群时,新节点必须首先连接到当前选择的集群协调器,以获得最新的流。如果集群协调器确定允许节
2017-12-14 16:59:52 3648 1
原创 NIFI术语
DataFlow Manager DataFlow Manager(DFM)是一个NiFi用户,具有添加,移除和修改NiFi数据流组件的权限。FlowFile FlowFile代表NiFi中的一个单一数据。 FlowFile由两个组件组成:FlowFile属性和FlowFile内容。 内容是由FlowFile表示的数据。 属性是提供关于数据的信息或上下文的特性; 它们由键值对组成。 所有Flo
2017-12-14 16:52:25 1847
原创 NIFI概览
Apache NiFi是一个易用、强大、可靠的数据处理与分发系统。 它支持数据路由,转换等。 NiFi提供web界面,用于设计,控制,反馈和监视数据流。 它有很强的可配置性,如容错与保证交付,低延迟与高吞吐量以及基于优先级的队列。 NiFi为接收到的所有数据提供细粒度的,fork,join,修改,发送,并在达到配置的最终状态时丢弃。简单的说,nifi就是为了自动化系统之间的数据流而建立的。数据流这里
2017-12-14 16:48:36 1623
原创 [centos]使用tarball升级Cloudera Manager 5.13
本文适用使用tar包安装cloudera manager的情况。step 1收集升级信息step 2完成安装前步骤step 3升级JDKstep 4为Cloudera Manager创建和使用package存储库step 5升级Cloudera Navigator数据管理组件step6升级Cloudera Manager服务器和代理第7步验证并测试升级第8步升级Cloudera导航器组
2017-12-14 16:35:39 436
原创 [centos] 使用package升级cloudera manager 5.13
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来,用它写博客,将会带来全新的体验哦:Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-12-14 16:29:52 1194
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人