nginx开启gzip

在nginx配置http 节下: gzip on; gzip_proxied any; gzip_types text/plain text/css text/javascript text/xml application/xml application/xh...

2013-08-27 13:27:01

阅读数 3466

评论数 0

一次让人峰回路转, 颜面扫地的trouble shooting, Apache Pig

最近集群计算迁移, 某Pig脚本在新集群上运行失败, 排除了文件损坏等问题, 还是每次复现失败. 日志如下: 表面原因是FileSystem 被关闭, 难道是Pig版本代码的bug, 关闭了不该关闭的FileSystem? 第一次尝试 带着这个思路, 写了btrace脚本跟踪...

2013-03-22 10:39:46

阅读数 4481

评论数 0

给分布式系统开发新人的建议

Notes on Distributed Systems for Young Bloods 原文链接: http://www.somethingsimilar.com/2013/01/14/notes-on-distributed-systems-for-young-bloods/ ...

2013-02-01 13:56:08

阅读数 2894

评论数 0

Spark 启动分析

Spark启动分析 Spark进程 : Master: 负责集群资源分配. 当Client请求资源时将请求分配给某个Worker Worker: 负责当前节点资源分配. 当收到Master的LaunchExecutor命令时分配资源,启动Executor Execut...

2013-01-22 17:12:53

阅读数 4332

评论数 1

java jps 失效问题

最近hadoop系统在升级后发现一个诡异的问题: jps命令返回的都是process information unavailable, jstack, jmap等所有使用attach api的命令都有类似问题. 以为是Jps有问题, 查看Jps源代码, 得知使用 jps -J...

2012-11-24 14:24:18

阅读数 9847

评论数 0

Apache Pig ObjectSerializer优化

最近又遇到一次Tasktracker OOM的问题, 分析过程如下: 1. 用MemoryAnalyzer分析heap dump, 如下图: 发现又是大量的String类型的内存占用. 进一步分析String的持有,如下: 发现是JobConf 对象持有了大量的stri...

2012-11-18 19:07:19

阅读数 2791

评论数 0

一个简单的日志收集

随着系统节点越来越多, 看应用日志成为一个头疼的事情, 所以想做一个应用日志收集. 看了一下log4j的SocketAppender, 居然使用java 自带序列化, 还不提供server, 挺讨厌. 倒不如自己写一个. 系统需求如下: 聚合多台服务器日志无过大性能损耗近实时提供log4j...

2012-09-17 10:00:58

阅读数 4065

评论数 0

Apache Pig DataBag spill 文件过多导致OOM问题

最近又遇到Pig job失败问题, 将heap dump拉下来分析发现很可笑: 怎么也不会想到一个DeleteOnExitHook也会导致OOM 翻看java.io.File 的源代码, 如下: public void deleteOnExit() { SecurityMa...

2012-08-10 16:45:57

阅读数 2849

评论数 0

Java进程OutOfMemoryError与catch Throwable

如果java进程发生OOM, 代码是否可以catch住这个异常? 答案是可以的. 测试代码如下: public class TestOOM{ public static void main(String[] args) throws Exception{ int ten_mb = 1...

2012-08-10 15:55:31

阅读数 7673

评论数 1

Apache Pig Reducer OOM 解决 -- Big DataBag

最近遇到一次Pig的reducer频繁OOM的问题, 记录一下解决过程. 问题描述 有一段pig代码, 示例如下: Data = group SourceData all; Result = foreach Data generate group, COUNt(Source...

2012-07-10 18:33:47

阅读数 4033

评论数 0

Erlang Rebar 创建工程总结

Erlang的application类似Java中的工程, 有两种类型: 类库和独立运行的application. 好比java中的单纯的作为其他项目的类库(如memcached 客户端) 和 独立运行的工程(如hadoop), 并且可运行的application也是可以作为其他applicati...

2012-07-08 22:56:30

阅读数 7777

评论数 0

erlang parameterized modules

最近在看mochiweb的源代码时, 发现一个有趣的用法: 当一个http请求到达时: mochweb.erl: %% @spec new_request({Socket, Request, Headers}) -> MochiWebRequest %% @doc Return ...

2012-03-30 11:03:43

阅读数 3559

评论数 0

[curator] Netflix Curator 使用

curator简介 Netflix curator 是Netflix公司开源的一个Zookeeper client library,用于简化zookeeper客户端编程,包含一下几个模块: curator-client - zookeeper client封装,用于取代原生的zooke...

2011-12-25 15:22:24

阅读数 23125

评论数 3

Java GC 日志详解

Java GC日志可以通过 +PrintGCDetails开启 以ParallelGC为例 YoungGC日志解释如下(图片源地址:这里) : FullGC(图片源地址:这里): 一目了然,一图胜千言

2011-10-22 00:12:04

阅读数 22339

评论数 9

分布式压力测试工具

是否有这样的场景:公司需要选型某类产品,需要你来做压力测试。运维部门分给你几台服务器,剩下的自己搞定。 请问:你是如何做压力测试的?如何获取性能参数、系统负载的?如果需要测试的产品是分布式的,需要N台client压M台Server,又怎么办?数据分析如何做? 你是否是每次手动

2011-09-20 23:51:11

阅读数 7320

评论数 0

erlang app file 讲解

每个erlang application需要一个app 文件,告诉erlang vm如何启动该程序。简单来说,格式如下: {application, ApplicationName, Properties}. 其中,ApplicationName是一个atom(不知道如何

2011-09-06 15:08:38

阅读数 4554

评论数 0

最简单实用的profiler(适用于紧急排除线上故障)

       由于IDC的隔离性,在线上机部署YJP,JProfiler等GUI工具很是麻烦,尤其是排除线上故障的时候,一个简单实用的工或许能快速定位到问题,减少停机时间.       基于btrace写了一个最简单的profiler: 快速profile某个类的所有public方法的执行时间并输...

2011-06-19 17:42:00

阅读数 3605

评论数 0

突破 BTrace 安全限制

       普通情况下,Btrace脚本有诸多的限制:can not create new objects. can not create new arrays. can not throw exceptions. can not catch exceptions. can not ma...

2011-06-16 15:24:00

阅读数 8723

评论数 2

hadoop 启动脚本start-all.sh执行序列

     针对hadoop 0.21.0的启动脚本:start-all.sh ,其执行序列图如下:(图片链接地址在这里)其中,几乎所有的脚本都会执行hadoop-config.sh 因此在此图中没有画出注:hadoop 0.21.0开始,新剥离了hdfs 和 mapred两个脚本。  

2011-06-12 00:52:00

阅读数 4259

评论数 0

系统吞吐性能优化简述

系统吞吐量优化模型简述

2011-06-02 18:42:00

阅读数 2953

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭