记一次线上OOM

现象

生产环境部署8台实例，某天下午突然所有实例全部异常，自动重启，运维反馈系统OOM，业务高峰过后实例恢复正常，当天未引起重视，周一早上业务高峰，部分实例突然OOM异常重启。

问题排查

叫运维把异常实例的dump文件导出，同时在正常实例上top -Hp 查看下cpu和内存，观察到一个vm的线程cpu使用率高达100%有时甚至超过100，猜测是gc线程。gcutil观察gc情况，发现yongGC 非常频繁平均3s一次，fullGC比较稳定。查看容器监控界面，发现在9：50起内存使用量线性增加，直到系统异常。怀疑有内存泄漏。

分析dump文件

内存占用最多的两个类：object、com.netflix.hystrix.strategy.properties.archaius.HystrixDynamicPropertiesArchaius.StringDynamicProperty。
前一个版本有优化Hystrix限流功能，怀疑跟Hystrix有关。
StringDynamicProperty类里面有两个变量：callbacks、validators占用最多，基本上100%被他俩占用。都是CopyOnWriteArraySet类型。
在线程堆栈文件中搜 StringDynamicProperty 发现很多线程跟此类关联，定位到具体代码：

HystrixDynamicProperties dynamicProperties = HystrixPlugins.getInstance().getDynamicProperties();
HystrixDynamicProperty<String> a = dynamicProperties.getString("hystrix.switch", "null");

这个功能是在一个Filter里面判断hystrix开关是否打开，打开则通过HystrixCommand封装请求，对请求做限流的功能。
刚好这个开关是上个版本加的，99%问题就在他了。

Hystrix动态属性获取存在的问题

Hystrix是通过 com.netflix.archaius 管理配置信息的，支持动态更新。上面就用到了获取属性的api。
archaius提供访问属性的api:

DynamicStringProperty property1 = DynamicPropertyFactory.getInstance().getStringProperty("my.name", "null");

跟踪代码到：

com.netflix.config.DynamicPropertyFactory#getStringProperty(java.lang.String, java.lang.String, java.lang.Runnable)
...
DynamicStringProperty property = new DynamicStringProperty(propName, defaultValue);
...

com.netflix.config.PropertyWrapper#PropertyWrapper:

private static final IdentityHashMap<Class<? extends PropertyWrapper>, Object> SUBCLASSES_WITH_NO_CALLBACK
            = new IdentityHashMap<Class<? extends PropertyWrapper>, Object>();
//a: 获取DynamicProperty 实例
this.prop = DynamicProperty.getInstance(propName);
//b: 是否要设置回调，引发oom的源头
if (!SUBCLASSES_WITH_NO_CALLBACK.containsKey(c)) {
            Runnable callback = new Runnable() {
                public void run() {
                    propertyChanged();
                }
            };
            this.prop.addCallback(callback);
            callbacks.add(callback);
            this.prop.addValidator(new PropertyChangeValidator() {                
                @Override
                public void validate(String newValue) {
                    PropertyWrapper.this.validate(newValue);
                }
            });
            try {
                if (this.prop.getString() != null) {
                    this.validate(this.prop.getString());
                }
            } catch (ValidationException e) {
                logger.warn("Error validating property at initialization. Will fallback to default value.", e);
                prop.updateValue(defaultValue);
            }
        }

a: com.netflix.config.DynamicProperty#getInstance

private static final ConcurrentHashMap<String, DynamicProperty> ALL_PROPS
        = new ConcurrentHashMap<String, DynamicProperty>();
if (dynamicPropertySupportImpl == null) {
            DynamicPropertyFactory.getInstance();
        }
        //c:缓存，oom罪魁祸首
        DynamicProperty prop = ALL_PROPS.get(propName);
        if (prop == null) {
            prop = new DynamicProperty(propName);
            DynamicProperty oldProp = ALL_PROPS.putIfAbsent(propName, prop);
            if (oldProp != null) {
                prop = oldProp;
            }
        }
        return prop;

b: PropertyWrapper.SUBCLASSES_WITH_NO_CALLBACK

//缓存需要设置回调的PropertyWrapper
private static final IdentityHashMap<Class<? extends PropertyWrapper>, Object> SUBCLASSES_WITH_NO_CALLBACK
            = new IdentityHashMap<Class<? extends PropertyWrapper>, Object>();
//下面这些默认不需要设置回调
static {
        PropertyWrapper.registerSubClassWithNoCallback(DynamicIntProperty.class);
        PropertyWrapper.registerSubClassWithNoCallback(DynamicStringProperty.class);
        PropertyWrapper.registerSubClassWithNoCallback(DynamicBooleanProperty.class);
        PropertyWrapper.registerSubClassWithNoCallback(DynamicFloatProperty.class);
        PropertyWrapper.registerSubClassWithNoCallback(DynamicLongProperty.class);
        PropertyWrapper.registerSubClassWithNoCallback(DynamicDoubleProperty.class);
    }

...
//通过HystrixPlugins.getInstance().getDynamicProperties().getxxx()访问，这里的c = HystrixDynamicPropertiesArchaius.StringDynamicProperty，并未注册进SUBCLASSES_WITH_NO_CALLBACK，所以这里每次都会进去设置callback/validator
if (!SUBCLASSES_WITH_NO_CALLBACK.containsKey(c)) {
            Runnable callback = new Runnable() {
                public void run() {
                    propertyChanged();
                }
            };
            //d:这里给PropertyWrapper设置回调,设DynamicProperty prop属性中的属性 callbacks，
            this.prop.addCallback(callback);
            //e:同上设置callback
            callbacks.add(callback);
            this.prop.addValidator(new PropertyChangeValidator() {                
                @Override
                public void validate(String newValue) {
                    PropertyWrapper.this.validate(newValue);
                }
            });
            try {
                if (this.prop.getString() != null) {
                    this.validate(this.prop.getString());
                }
            } catch (ValidationException e) {
                logger.warn("Error validating property at initialization. Will fallback to default value.", e);
                prop.updateValue(defaultValue);
            }
        }     

//c:缓存，oom罪魁祸首
DynamicProperty.ALL_PROPS

private static final ConcurrentHashMap<String, DynamicProperty> ALL_PROPS
        = new ConcurrentHashMap<String, DynamicProperty>();

一个并发安全的hashmap，但是DynamicProperty是强引用的，DynamicProperty在首次访问时会设置进来，可以优化为弱引用，OOM前会把DynamicProperty回收：

private static final ConcurrentHashMap<String, WeakReference<DynamicProperty>> ALL_PROPS
            = new ConcurrentHashMap<>();

d/e:
由于DynamicProperty都是从缓存中取到的，该类是HystrixDynamicPropertiesArchaius.StringDynamicProperty.class,默认是没有注册到SUBCLASSES_WITH_NO_CALLBACK，每次通过HystrixPlugins.getInstance().getDynamicProperties().getStiring(“hystrix.switch”)时都会给该变量的callbacks/validators新增同样的值。而且CopyOnWriteArraySet时写时复制，内存开销大，高并发下写性能问题很严重。
这样就导致DynamicProperty.ALL_PROPS的那个DynamicProperty对象越来越大，GC也没办法回收，最终导致系统OOM。

关于archaius源码分析可以参考
https://blog.csdn.net/f641385712/category_9911741.html

解决办法

1 注册StringDynamicProperty到SUBCLASSES_WITH_NO_CALLBACK

PropertyWrapper.registerSubClassWithNoCallback(HystrixDynamicPropertiesArchaius.StringDynamicProperty.class);

但是HystrixDynamicPropertiesArchaius.StringDynamicProperty 时私有类，外部无法访问。此法无效

2 使用DynamicPropertyFactory

DynamicStringProperty property1 = DynamicPropertyFactory.getInstance().getStringProperty("htstrix.switch", "off");

DynamicPropertyFactory 会把变量封装成DynamicStringProperty，该类不会注册callbacks和validators。

3 使用其他框架读取该配置文件，如disconfig

关于HystrixCommandProperties HystrixThreadPoolProperties HystrixTimerThreadPoolProperties 的配置文件时如何读取的，晚点debug看看。