kafka
leonpengweicn
这个作者很懒,什么都没留下…
展开
-
[2015-01-27 16:36:40,598] ERROR Producer connection to ubuntu06:9092 unsuccessful (kafka.producer.Sy
出现上面的错误是因为在本地的hosts里没有配置hostname 解决办法: sudo vi /etc/hosts #add 192.168.0.106 ubuntu06原创 2015-01-27 16:33:42 · 2245 阅读 · 0 评论 -
使用logstash+elasticsearch+kibana快速搭建日志平台
http://www.cnblogs.com/buzzlight/p/logstash_elasticsearch_kibana_log.html 日志的分析和监控在系统开发中占非常重要的地位,系统越复杂,日志的分析和监控就越重要,常见的需求有: 根据关键字查询日志详情监控系统的运行状况统计分析,比如接口的调用次数、执行时间、成功率等异常数据自动触发消息通知基于日志的数转载 2015-03-19 23:20:21 · 1075 阅读 · 0 评论 -
ElasticSearch+LogStash+Kibana+Redis日志服务的高可用方案
http://nkcoder.github.io/blog/20141106/elkr-log-platform-deploy-ha/ 1. 高可用方案的架构 在上一篇文章使用ElasticSearch+LogStash+Kibana+Redis搭建日志管理服务中介绍了日志服务的整体框架以及各组件的搭建部署,本篇文章主要讨论一下日志服务框架的高可用方案,主要从以下三个方转载 2015-03-19 23:19:17 · 2908 阅读 · 0 评论 -
将Rsyslog的日志输出到Kafka消息队列
http://www.biglog.org/rsyslog-output-kafka/ Rsyslog8.x版本最大的新特性是:可以支持将日志输出到Kafka。 不过Rsyslog默认是没有开启该模块的,如果想使用就需要在安装Rsyslog时编译进去。源码编译安装Rsyslog的过程是非常麻烦的,需要解决很多依赖问题。 这里不再介绍源码安装的过程了,详情请参照官方文档转载 2015-03-19 23:05:03 · 6282 阅读 · 0 评论 -
rsyslog与Kafka结合使用
http://bigbo.github.io/pages/2015/01/21/syslog_kafka/ 前言 最近在折腾 Rsyslog ,传输日志,对他怎么说呢,谁用谁知道,我仅仅是了解使用的程度,对于里面的坑以及使用策略还没有那么深入,不过日后会逐步的细化了解,其实现在对于日志传输来过网上一大堆技术方案任你选.但是感觉用rsyslog传输还是最方便,最快捷的.他转载 2015-03-19 23:01:39 · 5334 阅读 · 0 评论 -
流式日志系统启示录-Xlog-系统集成与组件选型
http://noops.me/?p=1325 背景 如果你是一名SRE兄弟,收到告警短信,你是否还在疯狂的敲着ssh | grep | sed | awk 这些命令的组合排查问题呢?如果1台,2台,3台机器,ok;如果有n台机器,你会不会抓狂? 如果你是一名DEV兄弟,开发一套高性能的分布式数据处理平台,你是不是还在考虑数据如何传转载 2015-01-26 13:45:17 · 1089 阅读 · 0 评论 -
单节点部署kafaka+zookeeper
http://kafka.apache.org/documentation.html#quickstart 1.3 Quick Start This tutorial assumes you are starting fresh and have no existing Kafka or ZooKeeper data. Step 1: Download the code Dow转载 2015-01-26 10:51:46 · 1810 阅读 · 0 评论 -
分布式消息系统Kafka初步
http://my.oschina.net/ielts0909/blog/92972 终于可以写kafka的文章了,Mina的相关文章我已经做了索引,在我的博客中置顶了,大家可以方便的找到。从这一篇开始分布式消息系统的入门。 在我们大量使用分布式数据库、分布式计算集群的时候,是否会遇到这样的一些问题: l 我想分析一下用户行为(pageviews),以便我能设计出更转载 2015-01-25 22:11:24 · 551 阅读 · 0 评论 -
spark读取 kafka nginx网站日志消息 并写入HDFS中
http://yangqijun.com/archives/227 SCALA, SPARK spark读取 kafka nginx网站日志消息 并写入HDFS中 网猫 2014年7月9日 暂无评论 spark 版本为1.0 kafka 版本为0.8 首先来看看kafka的架构图 详细了解请参考官方 我这边有三台机器用于ka转载 2015-01-25 23:09:34 · 3163 阅读 · 0 评论 -
Install Clustered (4 nodes) Apache Kafka and Zookeeper on Ubuntu 10.04
http://www.jonzobrist.com/2012/04/17/install-apache-kafka-and-zookeeper-on-ubuntu-10-04/ Roughly followed quickstart guide http://incubator.apache.org/kafka/quickstart.html Need Java? P转载 2015-01-25 22:12:30 · 789 阅读 · 0 评论 -
Kafka分布式环境搭建
http://my.oschina.net/ielts0909/blog/93190 这篇文章将介绍如何搭建kafka环境,我们会从单机版开始,然后逐渐往分布式扩展。单机版的搭建官网上就有,比较容易实现,这里我就简单介绍下即可,而分布式的搭建官网却没有描述,我们最终的目的还是用分布式来解决问题,所以这部分会是重点。 Kafka的中文文档并不多,所以我们尽量详细点儿写。要交会你搭建分转载 2015-01-25 22:10:11 · 612 阅读 · 0 评论 -
Ubuntu + Apache Kafka Installation
http://vulab.com/blog/?p=576 Aim of this Kafka Tutorial: Install Apache Kafka, Create a topic and use a producer to send test messages to Kafka Topics. Also launch a consumer to consume转载 2015-01-25 22:09:57 · 926 阅读 · 0 评论 -
使用Fluentd + MongoDB构建实时日志收集系统
http://blog.nosqlfan.com/html/3521.html 使用Fluentd + MongoDB构建实时日志收集系统 作者:nosqlfan on 星期一, 十二月 5, 2011 · 3条评论 【阅读:11,560 次】 Fluentd是一个日志收集系统,它的特点在于其各部分均是可定制化的,你可以通过简单的配置,将日志收集到不同的地转载 2015-01-26 13:46:46 · 1828 阅读 · 0 评论 -
使用ElasticSearch+LogStash+Kibana+Redis搭建日志管理服务
http://nkcoder.github.io/blog/20141031/elkr-log-platform-deploy/ 1. 日志平台的结构示意图 说明: 多个独立的agent(Shipper)负责收集不同来源的数据,一个中心agent(Indexer)负责汇总和分析数据,在中心agent前的Broker(使用redis实现)作为缓冲区,中心ag转载 2015-03-19 23:15:04 · 1088 阅读 · 0 评论