- 博客(24)
- 资源 (14)
- 收藏
- 关注
RSS订阅原创 Kryo为什么比Hessian快
Kryo 是一个快速高效的Java对象图形序列化框架，它原生支持java，且在java的序列化上甚至优于google著名的序列化框架protobuf。由于protobuf需要编写Schema文件（.proto），且需静态编译。故选择与Kryo类似的序列化框架Hessian作为比较来了解一下Kryo为什么这么快。序列化的过程中主要有3个指标：1、对象序列化后的大小 一个对象会被序列化工具...
2012-06-08 17:46:31
391
原创 序列化框架 kryo VS hessian VS Protostuff VS java
序列化框架性能对比（kryo、hessian、java、protostuff）简介： 优点缺点Kryo速度快，序列化后体积小跨语言支持较复杂Hessian默认支持跨语言较慢Protostuff速度快，基于protobuf需静态编译...
2012-06-08 13:32:32
846
原创 转（How to Analyze Java Thread Dumps）
转自：http://www.cubrid.org/blog/dev-platform/how-to-analyze-java-thread-dumps/When there is an obstacle, or when a Java based Web application is running much slower than expected, we need to usethr...
2012-06-01 10:22:19
356
原创 Job初始化（一）
Job的初始化1.WordCount.java public static void main(String[] args) throws Exception { // 初始化Configuration Configuration conf = new Configuration(); --> Configuration.java 默认构造函数执行...
2012-05-26 20:10:50
514
原创 Yarn/MRv2中MapReduce的启动过程之Client端
Yarn/MRv2中MapReduce的启动过程之Client端Hadoop版本0.23.1Shell端$HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-0.23.1.jar wordcount input outputClient端1、 bi...
2012-05-21 11:05:10
142
原创 YARN/MRv2 ResourceManager端 源码分析1
2. ResourceManager端 Client端通过YarnRunner.submitJob()将Application提交给了ResourceManager。 连接Client与ResourceManager的协议为ClientRMProtocol，该协议的实现类为ClientRMService。 1) ClientRMService.java Client端与Resou...
2012-05-21 10:39:24
119
原创 YARN/MRv2 Client端 源码分析
1. 客户端 1)Job.java 用户编辑好的MapReduce程序会通过Job.waitForCompletion(true)提交任务。 public boolean waitForCompletion(boolean verbose ) throws IOException, InterruptedException, ...
2012-05-20 19:11:26
120
原创 由Client启动ApplicationMaster的步骤
1. 申请Application 1) 连接ResourceManager YarnConfiguration yarnConf = new YarnConfiguration(conf); InetSocketAddress rmAddress = NetUtils.createSocketAddr(yarnConf.get( YarnConfigura...
2012-05-20 17:02:33
746
原创 由ApplicationMaster启动一个Container的步骤
1. 申请Container 1) 连接ResourceManager Configuration conf = new Configuration(); YarnRPC rpc = YarnRPC.create(conf); YarnConfiguration yarnConf = new YarnConfiguration(conf); // 获取Re...
2012-05-20 15:47:07
514
原创 YARN/MRv2状态机
转自http://weibo.com/coderplayApplicationApplicationAttempt Job Task TaskAttempt NodeManager Container
2012-05-20 11:09:59
120
原创 YARN/MRv2异步处理编程模型介绍
一、前言 YARN/MRv2在处理请求时采用了基于事件驱动机制的异步编程模型SEDA，如下图所示： 事件通过Dispather中一个HandlerThread分发给该事件对应的EventHandlerService来处理。每种事件对应一种EventHandler。未被EventHandler处理的事件，会放在EventQueue中等待被处理。SEDA（Staged...
2012-05-20 10:55:24
120
原创 YARN常见异常
异常1：2012-05-16 16:18:42,468 WARN org.apache.hadoop.yarn.server.nodemanager.containermanager.launcher.ContainerLaunch: Failed to launch container.java.io.FileNotFoundException: File /tmp/nm-local-d...
2012-05-16 20:28:07
835
原创 YARN/MRv2环境搭建
搭建环境： 1)hadoop版本：0.23.1 2)Linux版本：Linux version 2.6.18-164.el5 3)操作系统：Red Hat Enterprise Linux Server release 5.4拓扑结构： 总共四台机器（A、B、C、D） namenode：A、B datanode：A、B、C、D ResourceManager：B NodeManager：A、B、C...
2012-05-15 16:19:23
113
原创 InterfaceAudience InterfaceStability
转：http://shuofenglxy.iteye.com/blog/935597InterfaceAudience 类包含三个注解类型，用来被说明被他们注解的类型的潜在的使用范围（audience）。 @InterfaceAudience.Public： 对所有工程和应用可用 @InterfaceAudience.LimitedPrivate： 仅...
2012-05-14 17:51:41
86
原创 Linux的资源控制——cgroup
1、 cgroupcgroup与进程类似，是分等级的。各个属性继承于父进程。用户可以通过cgroup为其控制的任务分配资源，如：CPU、内存、网络带宽等。cgroup包含了多个子系统，每个子系统代表一个单一的资源。以Redhat企业版6为例，共有9个子系统。分别为：a) blkio：用于限制每个块设备的输入输出。如：磁盘、usb等b) cpu：提供对cpu的访问c) cpu...
2012-05-13 14:01:05
184
原创 Storm中以后可能会出现的几个比较有用的功能
1、replication nathan提到可以通过自己实现的Grouping方式来让同一个流发送到不同的机器上，从而达到Replication的效果。2、Hook 在执行Spout/Bolt的emitted, acked, failed方法前后所执行的Hook.3、定制某个流发送到特定的某个机器上 可以实现1中的效果，还可以利用本地化进行补数据。由于宕机等事故，导致部分数据丢...
2012-03-25 13:55:46
136
原创 Storm 与 Esper
将storm做更高层次的抽象就没有办法绕开数据的元数据。Storm本身只提供到fields级别的，而且发送单位只能是List<Object>，nathan在这方面虽有意向，但没有说明开发计划。基于事件流分析的Esper有较为丰富的上层接口，其类SQL语言对数据开发人员也比较友好。在Github上也有人做过此类的尝试，https://github.com/tomdz/storm-es...
2012-03-25 13:34:37
276
原创 storm-user note
About resend message:http://groups.google.com/group/storm-user/browse_thread/thread/c5f06d757a51e0eb About CoordinatedBolt:http://groups.google.com/group/storm-user/browse_thread/thread/452131...
2012-01-17 10:18:01
58
原创 2011年终总结之流水账
随着本山大叔令人回味的此处省略N字，时光平淡的带我进入了北航的下半学期。习惯了上课的节奏和北京的生活，一切都已不再新鲜。我的主要时间都用在了《深入理解Linux内核》这本书上，然而当我写这次总结时，我俨然已经不记得是如何深入理解的了。看来即使弄懂了原理，没有应用场景让你思考，没有问题让你去实践，是做不到深入理解的。同样也是关于Linux的，本学期碰到了有史以来最不好对付的一门课——“linu...
2012-01-06 13:25:38
104
原创 Hadoop与Strom
2011最后一个季度的工作基本上是围绕着两个开源项目展开的，总结如下： 由于硬件的瓶颈，摩尔定律已无法跟上数据量增长的趋势。分布式系统应运而生，而Hadoop和Storm正好代表了两个分布式系统发展的两个方向。 分布式系统，其主要问题在于如何在节点上将对应的操作应用到数据上。其计算模型也就变成了如何对数据或者操作或者两者的混合进行分发和处理。Hadoop根据移动计算优于移动数据的原则...
2012-01-06 13:22:21
89
原创 Hadoop中一些优化想法
[size=medium]最近看了一些在线上跑的程序，发现一个Map输入量在700多mb，而reduce的输入只有几k。一个HiveSql程序，发现该程序只是将文件第一行的数值读出来，然后处理，其他都不需要，Hadoop在对文件的部分内容处理上还需要改进，目前无论是你的需求是什么，都会读入整个文件。[/size][size=medium]有时候我的程序不需要排序，但是在Map的输出和拷贝Map...
2011-10-28 17:08:56
63
原创 在Hadoop集群中动态增加和减少机器
[size=medium]增加机器：[/size]1、将新增加的机器配置文件配好2、将新增加的机器主机名/IP添加到Master机器中的$HADOOP_HOME$/conf/slaves文件中3、在新增加的机器中输入以下命令[quote]$ cd path/to/hadoop $ bin/hadoop-daemon.sh start datanode $ bin/hadoo...
2011-10-26 18:08:30
230
Labview毕业设计-基于网络的虚拟测控实验系统（论文，源程序）
2010-06-13
3D桌面，立方体屏幕，可旋转，Yodm3D
2010-06-05
MP3剪切——MP3.Recorder.Cutter.v5.0（附带破解）
2010-06-05
工厂供电课程设计-车间低压配电系统及车间变电所 计算数据
2009-05-13
工厂供电课程设计——车间低压配电系统及车间变电所设计
2009-05-13
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人