消息队列
ZHBR_F1
我们是来自北京中恒博瑞研发中心的一群工程师,因为共同的目标,我们从五湖四海走到了一起。2017年6月份,我们的研发平台F1平台就要发布第三代了。
展开
-
使用大数据技术处理风电场机组采集数据
测试背景本次测试背景为对某大型风电厂的机组采集数据进行处理,业务需求如下:将采集到的设备的实时数据存入持久化存储对数值超出上下限的测点进行实时告警计算采集数据不同时间段内的均值,一并存入持久化存储对持久存储中的数据提供类SQL查询原创 2017-05-18 10:43:59 · 4189 阅读 · 8 评论 -
Kafka安全认证SASL下附带工具的配置使用
转载请注明出处:http://blog.csdn.net/u012842205/article/details/73648170前两篇博客主要讲配置Kafka SASL认证,已经说明了,配置后Kafka自带的工具很多都不能使用。本文主要讲三个常用的Kafka附带工具的安全配置,在完成安全认证配置后,可以继续使用这些工具。本文基于前面的集群Kafka配置SASL用户名密码认证。确保Kaf转载 2017-06-26 09:08:39 · 4148 阅读 · 0 评论 -
Apache Kafka0.10.0.0集群部署
转载请注明出处:http://blog.csdn.net/u012842205/article/details/73250288Kafka集群部署需要依赖一个Zookeeper集群,用于Kafka broker之间的消息触发。不建议使用Kafka内嵌的Zookeeper。本文不对Zookeeper部署做描述。另外,Kafka是Java语言实现的,也必须有JDK,部署前确定环境变量,用户转载 2017-06-26 09:24:46 · 1665 阅读 · 0 评论 -
单机节点Kafka配置SASL用户名密码认证
转载请注明出处:http://blog.csdn.net/u012842205/article/details/73188534伪分布式Kafka,只用一个节点,zookeeper也用集成在Kafka里的。首先得配置zookeeper的SASL,再配置Kafka broker的SASL。先启动zookeeper节点,再启动Kafka broker。最后测试consumer和读写。转载 2017-06-21 14:51:34 · 1275 阅读 · 0 评论 -
Kafka基础运维
在软件项目的生命周期中,开发只占开始的一小部分,大部分时间我们要对项目进行运行维护,Kafka相关的项目也不例外。所以这里介绍了一些Kafka服务器基础的运维方法原创 2017-06-19 10:25:13 · 5151 阅读 · 1 评论 -
电力项目中大数据技术的典型应用
典型业务场景在电力行业项目甚至大多数工业项目中,都会涉及到对传感器等设备的采集数据进行存储和处理这一典型的业务场景,具体流程为:将传感器的采集数据汇集到前置的汇集器前置的汇集器将实时数据数据传输到数据处理中心数据处理中心对传输过来的实时数据进行实时的清洗和告警将实时数据和告警、计算数据一并存入持久化存储对持久化存储中的数据进行多维分析与数据挖掘对持久化存储中的数据进行可视化展示如图所示原创 2017-05-16 16:53:27 · 5761 阅读 · 0 评论 -
Kafka服务端设计思想
前言本文简单介绍了Apache Kafka服务端的一些设计,因为没有详细的介绍一些基础概念和适合有对Kafka有一定了解的同学们阅读。如果想深入了解Kafka,推荐阅读Kafka官方文档和源代码。Kafka被设计出来的目标是做为海量实时数据传输的分布式数据流平台,主要用来传输和聚合日志数据、追踪网站活动、传输监控数据和作为消息队列等原创 2017-06-19 10:26:02 · 583 阅读 · 0 评论 -
Kafka Client API 基本使用
之前讲过了Kafka基本概念及原理,这次我们来看看Kafka Client的API。要使用Kafka Client的API,首先需要先部署Kafka集群,部署过程请参见官网。然后在项目中添加Kafka Client的依赖,在这里我们使用0.10.0.1版本:<dependency> <groupId>org.apache.kafka</groupId> <artifactId>kaf原创 2017-06-19 10:24:26 · 3876 阅读 · 0 评论 -
Kafka基本概念及原理
简介Apache Kafka由著名职业社交公司LinkedIn开发,最初是被设计用来解决LinkedIn公司内部海量日志传输等问题。Kafka使用Scala语言编写,于2011年开源并进入Apache孵化器,2012年10月正式毕业,现在为Apache顶级项目。本文旨在使读者对Kafka有一个较为基本和全面的认识。基本概念Kafka是一个分布式数据流平台,可以运行在单台服务器上,也可以在多台服务器上原创 2017-06-19 10:22:58 · 934 阅读 · 0 评论 -
集群Kafka配置SASL用户名密码认证
转载请注明出处:http://blog.csdn.net/u012842205/article/details/73188684本文中配置的kafka集群为三节点,Zookeeper有4节点。两个集群相互独立。Apache Kafka v2.11-0.10.0.0Apache Zookeeper v3.4.8Kafka配置SASL PLAIN用于完成基本转载 2017-06-21 14:42:51 · 6572 阅读 · 0 评论