- 博客(22)
- 资源 (5)
- 收藏
- 关注
RSS订阅原创 KAFKA 1.0 文档（七）：设计
设计1动机2持久化不要害怕文件系统恒定的时间复杂度3效率端到端的批量压缩4生产者负载均衡异步发送5消费者推送 vs 拉取消费位置离线数据加载6消息传递语义7 复本复制日志法定人数ISR和状态机不纯洁的leader选举如果所有副本都失效了怎么办可用性和持久性副本管理8日志压缩日志压缩基础日志压缩提供了什么保证日志压缩细节Configuring The L
2017-12-25 14:10:41
851
原创 KAFKA 1.0 文档（六）：消费者配置
新的消费者配置 Name Description 类型 默认值 重要性 bootstrap.servers 用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载，不管哪些server是指定用于bootstrapping。这个列表仅仅影响初始化的hosts（用于发现全部的servers这个列表格式：host1:port1,host2:po
2017-12-20 14:05:38
2751
原创 KAFKA 1.0 文档（五）：生产者配置
从0.11.0.0开始生产者配置block.on.buffer.full，metadata.fetch.timeout.ms和timeout.ms已被删除。 以下是Java生产者的配置： name description default import bootstrap.servers 用于建立与kafka集群连接的host/port组。数据将会在所有servers上均衡加载
2017-12-20 13:54:33
1799
原创 kafka 1.0 中文文档(四)--主题级别配置(Topic-Level Configs)
Kafka topic级别的配置参数。首先是可以在配置文件中设置全局性的topic配置参数，其次是可以在创建topic时使用 –confi设置一个或多个自定义的配置。自定义的配置项优先级别会高于全局配置。 这是在创建一个topic时自定义了最大的消息字节数和消息持久化参数： > bin/kafka-topics.sh –zookeeper localhost:2181 –create
2017-12-20 10:16:14
5668
原创 kafka 1.0 中文文档（三）--Broker的配置
3.1 Broker Configs基本配置如下： 1. broker.id 2. log.dirs 3. zookeeper.connect下面将更详细地讨论主题级别的配置和默认设置。 名称 描述 类型 默认 重要性 zookeeper.connect Zookeeper 主机地址 string high adverti
2017-12-20 10:12:55
6598
原创 kafka 1.0 中文文档（二） -- APIS
1 Producer API2 Consumer API3 Streams API4 Connect API5 AdminClient API6传统的APIkafka包括五个核心apis： 1. Producer API允许应用程序将数据流发送到Kafka集群中的主题。 2. Consumer API允许应用程序从Kafka集群中的主题读取数据流。 3. Streams AP
2017-12-18 16:53:21
3552
原创 KAFKA 1.0 文档（一）：快速入门
1简介主题和日志分布式生产者消费者保证kafka作为消息系统卡夫卡作为存储系统kafka作为数据流处理整合2 使用案例消息处理Metrics度量日志收集流处理事件溯源Event Sourcing提交日志Commit Log3 快速开始Step 1 下载代码Step 2 启动服务Step 3 创建一个主题Step 4 发送消息Step 5 启动消费者Ste
2017-12-18 16:47:41
2250
原创 NIFI 系统属性 System Properties之ZooKeeper Properties
ZooKeeper属性NiFi依靠Apache ZooKeeper来确定集群中的哪个节点应该扮演主节点的角色，哪个节点扮演集群协调器的角色。 必须配置这些属性才能使NiFi加入群集。 Property Description nifi.zookeeper.connect.string 连接到Apache ZooKeeper所需的连接字符串。 这是一个逗号分隔的hostname:port
2017-12-18 14:56:40
718
原创 NIFI 系统属性 System Properties之Cluster Properties
集群通用属性设置NiFi集群时，应在所有节点上以相同的方式配置这些属性。 Property Description nifi.cluster.protocol.heartbeat.interval 节点应该向集群协调器发出心跳的时间间隔。 默认值是5秒。 nifi.cluster.protocol.is.secure 这表示集群通信是否需要安全严证。 默认值是false。集群
2017-12-18 14:56:17
389
原创 NIFI 系统属性 System Properties之Web Properties
Property Description nifi.web.war.directory web war包的目录. The default value is ./lib. nifi.web.http.host web 主机名称。默认空 nifi.web.http.port web端口 8080. nifi.web.http.port.forwarding 将传入的HT
2017-12-18 14:51:23
611
原创 NIFI 系统属性 System Properties之Provenance Repository来源库
来源库 Provenance Repository来源库包含有关数据来源的信息。 接下来的四个部分是Provenance Repository属性。 nifi.provenance.repository.implementation Provenance Repository实现。缺省值是org.apache.nifi.provenance.PersistentProvenanceReposit
2017-12-18 14:47:43
830
原创 NIFI 系统属性 System Properties之FlowFile存储库和内容库
FlowFile存储库FlowFile存储库会跟踪系统中每个FlowFile的属性和当前状态。 默认情况下，该存储库与其他所有存储库安装在同一根安装目录中; 但是，如果可能的话，建议在单独的驱动器上进行配置。 Property Description nifi.flowfile.repository.implementation FlowFile 存储库实现。 缺省值是org.apac
2017-12-18 14:45:09
2834
原创 NIFI 系统属性 System Properties之Core Properties
Core Propertiesnifi.properties文件的第一部分是核心属性。 这些属性作为一个整体适用于核心框架。 Property Description nifi.flow.configuration.file* 流程配置文件的位置（即包含当前显示在NiFi图表上的内容的文件）。 默认值是./conf/flow.xml.gz。 nifi.flow.configurat
2017-12-18 14:43:30
983
原创 NIFI配置 Bootstrap Properties & Notification Services
Bootstrap Propertiesconf目录下的bootstrap.conf文件允许用户配置NiFi应该如何启动的设置。 这包括参数，例如Java堆的大小，运行的Java命令以及Java系统属性。只有在NiFi停止并重新启动之后，对此文件的任何更改才会生效。 Property Description java 指定要运行的完全限定的java命令。 默认情况下，它只是java，但
2017-12-18 14:42:13
1126
原创 maven编译时java.lang.ArrayIndexOutOfBoundsException
java.lang.ArrayIndexOutOfBoundsException: 9480 at org.codehaus.plexus.util.xml.pull.MXParser.parsePI(MXParser.java:2502).....见https://issues.apache.org/jira/browse/MNG-6216升级到apache ma
2017-12-18 14:26:41
4998
5
原创 NIFI 集群状态管理State Management
状态管理NiFi为Processors, Reporting Tasks, Controller Services以及框架本身提供了一种持久化状态的机制。 这允许一个处理器，例如，在NiFi重新启动之后，从它离开的地方恢复。 此外，它允许处理器存储一些信息，以便处理器可以从集群中的所有不同节点访问该信息。 这允许一个节点获取另一个节点离开的位置，或者在集群中的所有节点之间进行协调。Configuri
2017-12-14 17:08:17
1127
原创 NIFI 集群配置 Clustering Configuration
NiFi采用了Zero-Master聚类模式。集群中的每个节点都对数据执行相同的任务，但是每个节点都使用不同的数据集。其中一个节点会自动选择（通过Apache ZooKeeper）作为集群协调器。然后集群中的所有节点将向此节点发送心跳/状态信息,并且此节点负责断开一段时间内没有心跳的节点。另外，当新节点选择加入集群时，新节点必须首先连接到当前选择的集群协调器，以获得最新的流。如果集群协调器确定允许节
2017-12-14 16:59:52
3570
1
原创 NIFI术语
DataFlow Manager DataFlow Manager（DFM）是一个NiFi用户，具有添加，移除和修改NiFi数据流组件的权限。FlowFile FlowFile代表NiFi中的一个单一数据。 FlowFile由两个组件组成：FlowFile属性和FlowFile内容。 内容是由FlowFile表示的数据。 属性是提供关于数据的信息或上下文的特性; 它们由键值对组成。 所有Flo
2017-12-14 16:52:25
1801
原创 NIFI概览
Apache NiFi是一个易用、强大、可靠的数据处理与分发系统。 它支持数据路由，转换等。 NiFi提供web界面，用于设计，控制，反馈和监视数据流。 它有很强的可配置性，如容错与保证交付，低延迟与高吞吐量以及基于优先级的队列。 NiFi为接收到的所有数据提供细粒度的，fork，join，修改，发送，并在达到配置的最终状态时丢弃。简单的说，nifi就是为了自动化系统之间的数据流而建立的。数据流这里
2017-12-14 16:48:36
1599
原创 [centos]使用tarball升级Cloudera Manager 5.13
本文适用使用tar包安装cloudera manager的情况。step 1收集升级信息step 2完成安装前步骤step 3升级JDKstep 4为Cloudera Manager创建和使用package存储库step 5升级Cloudera Navigator数据管理组件step6升级Cloudera Manager服务器和代理第7步验证并测试升级第8步升级Cloudera导航器组
2017-12-14 16:35:39
424
原创 [centos] 使用package升级cloudera manager 5.13
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-12-14 16:29:52
1162
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人