- 博客(13)
- 资源 (26)
- 收藏
- 关注
转载 flume学习(五):Flume Channel Selectors使用
摘要: 前几篇文章只有一个项目的日志,现在我们考虑多个项目的日志的收集,我拷贝了一份flumedemo项目,重命名为flumedemo2,添加了一个WriteLog2.java类,稍微改动了一下JSON字符串的输出,将以前requestUrl中的”reporter-api”改为了”image-api”,以...前几篇文章只有一个项目的日志,现在我们考虑多个项目的日志的收集,我拷贝了一份
2017-11-29 16:25:27 419
转载 flume学习(四):Flume Interceptors的使用
摘要: 对于flume拦截器,我的理解是:在app(应用程序日志)和 source 之间的,对app日志进行拦截处理的。也即在日志进入到source之前,对日志进行一些包装、清新过滤等等动作。 官方上提供的已有的拦截器有: Timestamp Interceptor Host Interceptor...对于flume拦截器,我的理解是:在app(应用程序日志)和 source 之间的
2017-11-29 16:23:48 397
转载 flume学习(三):flume将log4j日志数据写入到hdfs
在第一篇文章中我们是将log4j的日志输出到了agent的日志文件当中。配置文件如下:[plain] view plaincopytier1.sources=source1 tier1.channels=channel1 tier1.sinks=sink1 tier1.sources.source1.type=avro
2017-11-29 16:18:29 356
转载 flume学习(一):log4j直接输出日志到flume
摘要: log4j.properties配置: log4j.rootLogger=INFOlog4j.category.com.besttone=INFO,flumelog4j.appender.flume = org.log4j.properties配置:log4j.rootLogger=INFOlog4j.category.com.besttone=INFO,flume
2017-11-29 16:14:45 1005
转载 使用flume+hive采集Web服务器的access日志
1、配置服务器格式博主这里用的是tomcat的combined默认格式,格式如下127.0.0.1 - - [28/Mar/2017:09:23:10 +0800] "GET /manager/html HTTP/1.1" 401 2536 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like
2017-11-29 14:07:23 1596
转载 最新 IntelliJ Idea 2017 激活方法
1. 到网站 http://idea.lanyus.com/ 获取注册码。2.填入下面的license server: http://intellij.mandroid.cn/ http://idea.imsxm.com/ http://idea.iteblog.com/key.php以上方法验证均可以
2017-11-29 13:43:34 722
转载 史上最简单的 SpringCloud 教程 | 终章
转载请标明出处: http://blog.csdn.net/forezp/article/details/70148833 本文出自方志朋的博客错过了这一篇,你可能再也学不会 Spring Cloud 了!Spring Boot做为下一代 web 框架,Spring Cloud 作为最新最火的微服务的翘楚,你还有什么理由拒绝。赶快上船吧,老船长带你飞。终章不是最后一篇,它是一个
2017-11-29 13:34:53 360
转载 MySQL 主从同步延迟的原因及解决办法
mysql 用主从同步的方法进行读写分离,减轻主服务器的压力的做法现在在业内做的非常普遍。 主从同步基本上能做到实时同步。我从别的网站借用了主从同步的原理图。 在配置好了, 主从同步以后, 主服务器会把更新语句写入binlog, 从服务器的IO 线程(这里要注意, 5.6.3 之前的IO线程仅有一个,5.6.3之后的有多线程去读了,速度自然也就加快了)回
2017-11-29 13:30:19 835
转载 mysql主从同步(4)-Slave延迟状态监控
之前部署了mysql主从同步环境(Mysql主从同步(1)-主从/主主环境部署梳理),针对主从同步过程中slave延迟状态的监控梳理如下:在mysql日常维护工作中,对于主从复制的监控主要体现在:1)检查数据是否一致;主从数据不同步时,参考下面两篇文档记录进行数据修复:mysql主从同步(3)-percona-toolkit工具(数据一致性监测、延迟监控)使用梳理利用mk-ta
2017-11-29 13:29:10 763
转载 mysql主从延迟原因以及解决方案
MySQL数据库主从同步延迟原理。MySQL数据库主从同步延迟是怎么产生的。MySQL数据库主从同步延迟解决方案。MySQL数据库主从同步延迟产生的因素。1.MySQL数据库主从同步延迟原理。答:谈到MySQL数据库主从同步延迟原理,得从mysql的数据库主从复制原理说起,mysql的主从复制都是单线程的操作,主库对所有DDL和DML产生binlog,binlog是顺序
2017-11-29 13:28:01 1324
转载 Spark Hadoop集群部署与Spark操作HDFS运行详解---Spark学习笔记10
目前spark的Run on的hadoop版本大多是hadoop2以上,但是实际上各个公司的生产环境不尽相同,用到2.0以上的公司还是少数。大多数公司还是停留在1代hadoop上,所以我就拿spark0.91 + hadoop0.20.2-cdh3u5来部署一个小集群,以供测试学习使用。一、环境概况Spark集群3台:web01: slaveweb02:
2017-11-28 20:43:18 815
转载 python中的闭包
1 快速预览以下是一段简单的闭包代码示例:def foo(): m=3 n=5 def bar(): a=4 return m+n+a return bar>>>bar = foo()>>>bar()12说明:bar在foo函数的代码块中定义。我们称bar是foo的内部函数。在bar的局部作用域
2017-11-25 02:26:00 365
转载 inux ‘E297: 交换文件写入错误’解决方法
出现‘E297: 交换文件写入错误’首先想到查看swap分区是不是真的没有空间了。#top看到交换空间还有很大一部分没有占用,于是查看磁盘空间#df -h进入根目录,查看根目录下面哪个目录占用磁盘空间最大。#cd /#du -sm *找到占用最大的目录,层层排查,删除过期的不必要的文件。#ll -h 以M为单位显示文件大小
2017-11-04 22:18:53 7178
深入理解Java虚拟机:JVM高级特性与最佳实践].周志明.高清扫描版.pdf
2017-01-09
高性能的socket通讯服务器(完成端口模型--IOCP)
2014-06-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人