使用Scribe重新构建log4j实现分布式日志中心

最新推荐文章于 2022-01-16 10:48:09 发布
最新推荐文章于 2022-01-16 10:48:09 发布
阅读量207 收藏
点赞数
分类专栏： 技术 分布式 日志分析 文章标签： c/c++ java 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_15264/article/details/82299190
版权

在浏览了诸多中文Scribe+log4j的博客之后，我发现，大家都是很不要face的抄人家的文，却没有一点要引用原文的意思。估计是抄来抄去，抄的多了都想不起来是谁抄谁的了。

 

原作应该是 Alex Loddengaard 的大作，写的很清楚，而且还有代码。这里不需要画蛇添足，大家欣赏吧。

Configuring and Using Scribe for Hadoop Log Collection

http://www.cloudera.com/blog/2008/11/configuring-and-using-scribe-for-hadoop-log-collection/

 

 

跑题篇，

除了Scribe之外，你还可以基于Thrift构建RPC服务。做到跨语言、高效通讯。推荐 Andrew Prunicki 的大作，

 

Apache Thrift

http://jnb.ociweb.com/jnb/jnbJun2009.html

iteye_15264
关注
专栏目录
LogDevice：一种用于日志的分布式数据存储系统
Docker的专栏
03-01 855
说到日志，它就是一个将有序序列的不可变记录记下来，并将此记录可靠地保存下来的最简单的方法。如果想要构建一套数据密集型分布式服务，你可能需要一两套日志。在Facebook，我们构建了许多用...
分布式架构服务
星月IWJ
04-26 2434
1,分布式微服务架构设计原理 2,彻底解决分布式系统一致性的问题 3,服务化系统容量评估和性能保障 4,大数据日志系统的构建 5,基于调用链的服务治理系统的设计与实现 6,java服务的线上应急和技术攻关 7,服务的容器化过程 8,敏捷开发2.0的自动化工具
scribe-log4j:将日志消息发送到 Scribe 的 log4j appender
06-16
scribe-log4j 将日志消息发送到 Scribe 的 log4j appender。 有3个maven项目： scribe-client - 为 scribe 自动生成的 Java 客户端 scribe-log4j - scribe-log4j附加程序 scribe-example - 使用示例 入门 克隆仓库 git clone https://github.com/caiiiycuk/scribe-log4j.git 将 scribe-client 安装到本地 maven 仓库 cd scribe-log4j/scribe-client mvn install 运行聚合日志的 scribe 服务器（请参阅下面的简短说明） 如果需要，请修复scribe-log4j/scribe-example/src/main/resources/log4j.properties 。
用java端，通过log4j 把日志写入scribe 日志系统
Royce Wang专栏
07-29 5611
用java端，通过log4j 把日志写入scribe 日志系统。  一、生成scribe客户端生成 java客户端api   A. 修改配置文件scribe.thrift      cd /usr/local/scribeInstall/scribe/if      vi scr
log4j 客户端写入scribe
softwarehe的专栏
04-20 1639
参考http://www.iteye.com/topic/800208，但在使用AsyncScribeAppender时，发现测试程序不能将日志写到scribe中去，而改用ScribeAppender可以，在网上查AsyncAppender的相关文档，http://sw1982.iteye.com/blog/688719，猜想是因为测试程序运行完马上退出，而这时日志还没来得及写到scribe中去，
云计算实战 （海量日志管理）hadoop + scribe -- log4j 客户端写入scribe
Open source of memory
11-02 177
  上一篇文章已经安装完scribe，下面我们用java端，通过log4j 把日志写入scribe 日志系统。     一、生成scribe客户端 生成 java客户端api    A. 修改配置文件scribe.thrift      cd /usr/local/scribeInstall/scribe/if      vi scribe.thrift      修改...
SpringBoot日志配置--log4j2
努力上岸的鱼
01-03 225
一、去除logging依赖并导入log4j2依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> ...
Thrift+Scribe分布式日志系统的构建
11-27
在 Thrift+Scribe 构建的分布式日志系统中，日志的产生端（如服务器或应用）使用 log4j 或其他日志框架记录日志。这些日志可以通过 Thrift 的服务接口发送到 Scribe 客户端。Scribe 客户端将接收到的日志封装成 `Log...
scribe客户端所需jar包
08-31
log4j是Java领域广泛使用的日志记录框架，它允许开发者灵活地配置日志级别、格式和输出目的地。通过结合scribe和log4j，你可以将应用程序的日志轻松地发送到scribe服务端。这个示例通常会展示如何配置log4j....
ddth-log2scribe:Log4j & Slf4j 适配器将日志写入 scribe 服务器
07-19
ddth-log2scribe Log4j 和 Slf4j 适配器将日志写入 scribe 服务器。 项目主页： : OSGi 环境：ddth-log2scribe 模块打包为 OSGi 包。 安装 最新发布版本： 0.1.0 。 请参阅 。 Maven 依赖： < dependency> < groupId>com.github.ddth</ groupId> < artifactId>ddth-log2scribe</ artifactId> < version>0.1.0</ version> </ dependency> 用法 Log4j 配置 log4j.appender.X=com.github.ddth.log2scribe.log4jappender.ScribelogAppender log4j.appender.X.layout=o
scribe详细安装文档
06-26
很好的东西，描述如何详细的安装scribe，编写安装脚本
scribe 简单使用java
East271536394
08-09 1594
1. 安装见 http://blog.csdn.net/east271536394/article/details/7849574 2.scribe 整体架构                                   scribe是一个服务，负责监听服务器的某个端口1464/1463               使用方式，通过java或php程序调用thrift的函数，向该
log4j2.xml配置
wan_zaiyunduan的博客
01-16 366
x <?xml version="1.0" encoding="UTF-8"?> <!-- Configuration后面的status，这个用于设置log4j2自身内部的信息输出，可以不设置，当设置成trace时，你会看到log4j2内部各种详细输出。 monitorInterval：Log4j能够自动检测修改配置 文件和重新配置本身，设置间隔秒数。 --> <configuration status="info" monitorInterval="30.
log4j2配置详解及自定义Appender
热门推荐
海瑞@mt
11-07 1万+
最近由于项目需要开始捣鼓项目组日志系统，日志系统中日志打印采用的是log4j2，同时需要支持公司日志采集需求，所以也会用到公司扩展的appender。之前做过的项目有关日志打印的功能也是采用log4j2组件。这篇文章主要是对这个组件的各个属性进行下总结，同时介绍下如何基于log4j2的Appender自定义Appender，满足项目需求。 后边也会陆续的对log4j2的原理、性能等进行分析......
Log4j1升级Log4j2实战
高广超的博客
04-10 896
这是在公司内部的一次升级实践，删除了很多隐私的内容，所以可能不是很完整。 1、背景 在任何系统中，日志都是非常重要的组成部分，它是反映系统运行情况的重要依据，也是排查问题时的必要线索。绝大多数人都认可日志的重要性，但是又有多少人仔细想过该怎么打日志，日志对性能的影响究竟有多大呢？ 新的Log4j 2.0版本有了大幅的性能提升、新的插件系统，以及配置...
log4j2中的自定义Appender详解
很多时候犯错都是在不知情的情况下发生的
08-21 1532
log4j官网提供了很多Appender组件，但是当那些组键不满足日志收集的时候，我们需要自己定义Appender 定点Appender需要处理好两个地方的问题 1.需要在代码中写一个自定义Appender 2.修改log4j.xml文件中的Appenders下面引用的Appender为自定义appender 首先是代码实现主要是继承AbstractAppender这个抽象类，重写append（）方法 append方法是我们进行接收日志的方法 @Override public void a...
Log4j2自定义Appender注意事项
ZERO
08-03 1万+
虽然log4j2自带了很多种Appender，但是有时候需要自定义Appender来满足业务需求。例如log4j2就没有为Scribe添加appender。        Appender的自定义其实很简单，可以参考log4j-core源码中org.apache.logging.log4j.core.appender.mom包中其它的扩展appender的实现。主要是实现AbstractAppe
分布式日志收集系统： Facebook Scribe之日志收集方案
WEBCODE
12-15 223
我的独立博客网址是：http://wuyouqiang.sinaapp.com/。 我的新浪微博：http://weibo.com/freshairbrucewoo。 欢迎大家相互交流，共同提高技术。 写入日志到Scribe的解决方案 1.概述 Scribe日志收集服务器只负责收集主动写入它的日志，它本身不会去主动抓取某一个日志，所以为了把日志写入到scribe服务器，我们必须主动向sc...
Scribe+Hadoop+Log4j整合实践：日志数据分析与Hive、MySQL结合
"这篇文档是关于使用Scribe、Hadoop、Log4j、Hive和MySQL进行用户系统日志数据分析的实践经验总结，旨在提供一种实用的解决方案。" 在这个月的研究中，作者深入探索了如何利用这些技术搭建一个高效的数据处理流水线...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值