- 博客(9)
- 收藏
- 关注
RSS订阅转载 深入探究JVM | 探秘 Metaspace
Java 8 彻底将永久代 (PermGen) 移除出了 HotSpot JVM，将其原有的数据迁移至 Java Heap 或 Metaspace。这一篇文章我们来总结一下Metaspace（元空间）的特性。如有错误，敬请指出，谢谢~引言：永久代为什么被移出HotSpot JVM了？在 HotSpot JVM 中，永久代中用于存放类和方法的元数据以及常量池，比如Class和Method。每当一个类...
2018-02-13 10:27:57
453
原创 flume自定义拦截器(Interceptor)拼接header和body信息
一、需求背景 最近项目有这样一个需求，分别采集不同应用不同机器上的日志，在做日志清洗后存入DB，数据库表字段需要存当前日志的来源，比如，来自于哪个项目，该项目的哪台机器，由于我们使用的是flume来做日志采集，故去翻flume的官网，发现有拦截器可以支持我的需求，一个是主机拦截器，可以在source之后配置，在header里面拼上ip信息，另一个是static拦截器，可以自定义key和...
2018-02-12 15:18:28
6229
1
原创 Storm集成Redis(使用redis的发布订阅功能)
一、需求分析 在上一篇中，我们搭建了一套实时日志分析平台，目前该平台的主要需求就是监测日志中是否含有某些敏感信息，对于不同的日志来源渠道，规则是不同的，有些是默认规则，有些是用户个性化需求，比如A系统，我的日志里面不允许出现hello这个单词，B系统我的日志里面不允许出现world这个单词，当用户新增了敏感信息后，要求应用能够近乎实时的更新其本地缓存(默认情况下，当storm启动的时候...
2018-02-08 15:43:06
3381
2
原创 使用flume-ng+kafka+storm+mysql 搭建实时日志处理平台
一、架构介绍 因为要采集的日志已经在线上，为了不侵入代码(主要也是其他产品不会因为我们搞这个日志监控而修改代码后重新上线)，已经不能再规范日志化输出，也就是需要对老系统进行日志分析。对于不同的应用，不同的日志类型，比如nginx日志、tomcat日志、应用日志等都需要分别采集；调研了flume和Logstash，当然还有更轻量级的filebeta；最后选择了flume，有以下几个
2018-02-07 15:25:45
1552
1
原创 Zookeeper实现分布式互斥锁
一、分布式互斥锁 分布式锁主要用来在分布式系统中同步共享资源的访问,在zookeeper中,并没有像JAVA里一样有Synchronized或者是ReentrantLock机制来实现锁机制,但是在zookeeper中,实现起来更简单： 我们可以讲将zk的一个数据节点代表一个锁,当多个客户端同时调用create()节点创建节点的时候,zookeeper会保证只会有一个客户端创建
2018-02-05 08:25:00
795
原创 Zookeeper实现分布式屏障
一、分布式屏障 分布式barrier一般出现在类似这样的场景,某个任务最终的执行需要基于很多并行计算的子结果。二、zookeeper实现分布式屏障思路 某个node路径为"/queue_barrier",在该节点下有个子节点给子节点赋值为某个值,假设为10,当根路径"/queue_barrier"下的子节点个数为10时,则所有子进程都完成了任务
2018-02-02 20:24:37
416
原创 springboot集成disconf实现配置文件实时刷新
一、disconf介绍 disconf是百度的一个分布式配置中心，由于我们项目配置文件较多，都是properties文件，虽然也支持实时生效，但是没有一个可视化的WEB端用来管理(每次修改配置文件需要提上线流程上线修改)，目前采用disconf来实现。二、springboot集成disconf 本篇只是一个入门，因为还在调研阶段，本篇
2018-02-02 20:17:53
11108
1
原创 springboot集成disconf配置文件下载路径问题
一、前言 最近因项目需要，准备入手研究百度开源的分布式配置中心disconf，在涉及到配置文件下载路径的时候，发现本地测试的情况跟官网说的不太一样(官网点击打开链接 )，这里做个记录以便及时查看。后面的测试主要是基于springboot的。 二、测试模拟 我使用的disconf版本是目前的最新版2.6.36。在测试之前,先说明几个和路径相关的配置。
2018-02-02 19:59:56
2599
原创 Jdk1.8版本CountDownLatch实现源码分析
一、CountDownLatch CountDownLatch的主要应该场景是，可以用来等待其他线程处理完某个任务后再执行主流程，比如，现在我们有一个运算结果依赖于其它几个线程的运行结果，类似这样的场景就可以考虑用CountDownLatch来实现，CountDownLatch是基于AQS实现的，使用了AQS提供的共享模式。 二、先看一个使用的简单例
2018-02-02 08:43:37
434
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人