![](https://img-blog.csdnimg.cn/20190927151043371.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
日志技术
文章平均质量分 78
日志技术
飞鸟还巢
。
展开
-
采用 Logstash 采集 tomcat access 日志和应用程序日志
Logstash 的安装Logstash 的安装非常简单,直接官网下载对应的版本(需要和 Elasticsearch 的版本匹配)解压缩即可# tar -zxvf logstash-2.3.2.tar.gz -C /usr/local/# mv logstash-2.3.2/ logstash测试启动# cd logstash/# cd bin/# ./logstash...转载 2019-05-08 10:29:29 · 960 阅读 · 0 评论 -
【转】Filebeat+Kafka+Logstash+ElasticSearch+Kibana搭建完整版
1. 了解各个组件的作用Filebeat是一个日志文件托运工具,在你的服务器上安装客户端后,filebeat会监控日志目录或者指定的日志文件,追踪读取这些文件(追踪文件的变化,不停的读)Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据Logstash是一根具备实时数据传输能力的管道,负责将数据信息从管道的输入端传输到管道的输出端;与此同时这根管...转载 2019-04-26 10:18:54 · 341 阅读 · 0 评论 -
【转】Filebeat+Kafka+Logstash+ElasticSearch+Kibana 日志采集方案
前言 Elastic Stack 提供 Beats 和 Logstash 套件来采集任何来源、任何格式的数据。其实Beats 和 Logstash的功能差不多,都能够与 Elasticsearch 产生协同作用,而且logstash比filebeat功能更强大一点,2个都使用是因为:Beats 是一个轻量级的采集器,支持从边缘机器向 Logstash 和 Elasticsearch ...转载 2019-04-26 10:19:58 · 2890 阅读 · 0 评论 -
Flink日志固定输出路径,并按照分钟拆分日志文件
################################################################################# Licensed to the Apache Software Foundation (ASF) under one# or more contributor license agreements. See the NOTICE file# distributed with this work for additional info...原创 2020-08-07 16:52:15 · 1746 阅读 · 0 评论 -
日志中心现有架构下的优化方案记录
同时,由于软件和系统机制的制约,一套flink集群并不能真正分配到足量的cpu和内存资源,多一套集群也可以进一步使用剩余系统资源。生产环境已经采用,对照组是测试环境的独立集群,负载能力和容错能力远远超过测试环境的集群,且可能动态调整性能使用,例如slot的使用量;中间件flink、redis、kafka和mysql均在同一套三台主机上,CPU总数100C,256G内存,2T的磁盘。日志格式配置中,包含过滤方法,要业务侧给出过滤规则,屏蔽一些不需要的日志,减少日志的同时,提升日志可用性和命中率。原创 2022-09-21 13:35:17 · 894 阅读 · 1 评论 -
hive stage job等划分
1.通过explain可以清晰的看到stage划分。常见的是各个算子(join groupby orderby 等有shuffle)或者是一些filter where等。2.基于上面的1就可以划分出stage。但是有些stage并不会执行,或者说经过优化器后的filter where会在其他stage里进行。这样,有些stage就是空的stage。3.基于stage划分,如何确定job数量(总数就是stage数量)。主要是看哪些stage会执行。只有需要执行的stage才会提交yarn,生成具体的j转载 2021-03-19 16:47:56 · 834 阅读 · 1 评论 -
关于HIve的运行原理分析和日志解析清洗思路(二)
beeline命令,建立连接=============2021-03-04 15:29:53,842 WARN [HiveServer2-Handler-Pool: Thread-3953]: conf.HiveConf (HiveConf.java:initialize(2891)) - HiveConf of name hive.sentry.conf.url does not exist2021-03-04 15:29:53,842 WARN [HiveServer2-Handler-Poo..原创 2021-03-18 17:13:58 · 1281 阅读 · 0 评论 -
关于HIve的运行原理分析和日志解析清洗思路(一)
HIVE原理:Hive是一个SQL解析引擎,将SQL语句转译成MR Job,然后再Hadoop平台上运行;Hive中的表是纯逻辑表,就只是表的定义等,即表的元数据。本质就是Hadoop的目录文件,达到了元数据与数据存储分离的目的;Hive本身不存储数据,它完全依赖HDFS和MapReduceHive 在加载数据的过程中不会对数据进行任何处理,甚至不会对数据进行扫描,因此也没有对数据中的某些 Key 建立索引(hive不存储数据,因此没有索引)HQL----》转换成mapreduce------》提交任原创 2021-03-18 17:12:33 · 445 阅读 · 0 评论 -
学习:Log4j使用(Pattern Layout详细设置)
模式转换字符下面的表格解释了上面模式中用到的字符,以及所有定制模式时能用到的字符:转换字符 含义 c 使用它为输出的日志事件分类,比如对于分类 "a.b.c",模式 %c{2} 会输出 "b.c" 。 C 使用它输出发起记录日志请求的类的全名。比如对于类 "org.apache.xyz.SomeClass",模式 %C{1} 会输出 "SomeClass"。 d 使用它输出记录日志的日期,比如 %d{HH:mm:ss,SSS} 或 %d{dd MMM yyyy H原创 2021-03-12 15:32:25 · 913 阅读 · 0 评论