- 博客(11)
- 资源 (10)
- 收藏
- 关注
RSS订阅
原创 java进程调用外部程序时fork()+exec()分析
java进程要qi'dRuntime.getRuntime().exec(cmd) 的执行流程分析继续上网查，大概意思是Java程序调用外部程序时可能需要分配跟父进程同等大小的内存。这就奇怪了，比如说，我随便调用一下ls命令，也需要很多内存吗？肯定是Java调用外部程序的接口里处理比较特殊。嗯，刚好JDK也开源，看看源码去。分析SUN JDK 1.5 SRC，找到Runti
2014-10-15 18:44:03
5809
原创 Linux shell脚本中调用另一个shell(exec、source、fork)
fork 使用 fork 方式运行 script 时, 就是让 shell(parent process) 产生一个 child process 去执行该 script, 当 child process 结束后, 会返回 parent process,但 parent process 的环境是不会因 child process 的改变而改变的.例：./my.shsource
2014-10-15 18:13:29
7813
转载 Yarn简单介绍及内存配置
在这篇博客中，主要介绍了Yarn对MRv1的改进，以及Yarn简单的内存配置和Yarn的资源抽象container。我么知道MRv1存在的主要问题是：在运行时，JobTracker既负责资源管理又负责任务调度，这导致了它的扩展性、资源利用率低等问题。之所以存在这样的问题，是与其最初的设计有关，如下图：从上图可以看到，MRv1是围绕着MapReduce进行，并没有过多地考虑以后出现的
2014-10-14 18:40:11
1256
原创 hive建表没使用LZO存储格式，但是数据是LZO格式时遇到的问题
今天微博大数据平台发邮件来说，他们有一个hql运行失败，但是从gateway上面的日志看不出来是什么原因导致的，我帮忙看了一下，最后找到了问题的原因，以下是分析过程
2014-10-13 16:30:53
2881
原创 distcp导致个别datanode节点数据存储严重不均衡分析
hadoop2.4生产集群已经运行一段时间了。由于大量的hadoop1.0上面的应用不断迁移过来，刚开始事hdfs这边还没有出现多少问题，随着时间的推移，最近发现个别的datanode节点上面的磁盘空间剩余严重不足，既集群数据存储严重不均衡，很多DN节点分明还有很多存储空间，而个别DN节点存储空间则出现严重不足的情况。后来经过分析，发现这些空间严重不足的节点上面，都运行了distcp作业的map任务，distcp是一个纯粹拷贝数据的job，一结合hdfs数据副本分配策略一分析，终于找到了问题所在：原来是因为
2014-10-11 13:14:04
3522
原创 hadoop2.0的datanode多目录数据副本存放策略
在hadoop2.0中，datanode数据副本存放磁盘选择策略有两种方式：第一种是沿用hadoop1.0的磁盘目录轮询方式，实现类：RoundRobinVolumeChoosingPolicy.java第二种是选择可用空间足够多的磁盘方式存储，实现类：AvailableSpaceVolumeChoosingPolicy.java
2014-10-11 12:57:25
8761
原创 hive使用python脚本导致java.io.IOException: Broken pipe异常退出
反垃圾rd那边有一个hql，在执行过程中出现错误退出，报java.io.IOException: Broken pipe异常，hql中使用到了python脚本，hql和python脚本近期没有人改过，在10.1号时还运行正常，但是在10.4号之后运行就老是出现相同的错误，而且错误出现在stage-2的reduce阶段，gateway上面的错误提示如下：
2014-10-10 16:16:27
8393
转载 java.net.SocketException四大异常解决方案
java.net.SocketException如何才能更好的使用呢？这个就需要我们先要了解有关这个语言的相关问题。希望大家有所帮助。那么我们就来看看有关java.net.SocketException的相关知识。第1个异常是 java.net.BindException:Address already in use: JVM_Bind。该异常发生在服务器端进行new Server
2014-10-09 21:49:00
2107
原创 yarn状态机可视化
YARN中实现了多个状态机对象，包括ResourceManager中的RMAppImpl、RMApp-AttemptImpl、RMContainerImpl和RMNodeImpl，NodeManager中的ApplicationImpl、ContainerImpl和LocalizedResource，MRAppMaster中的JobImpl、TaskImpl和TaskAttemptImpl等。为了
2014-10-09 15:51:20
2965
转载 Prestodb概述及性能测试
概述内容（1）简介（2）Hive and Prestodb, comparison of functionality（3）Hive and Prestodb, comparison of performance （1）简介Presto是由facebook开发的一个分布式SQL查询引擎， 它被设计为用来专门进行高速、实时的数据分析。它支持标准的ANSI
2014-10-09 12:31:06
5040
转载 Presto：Facebook的分布式SQL查询引擎
背景Facebook是一家数据驱动的公司。 数据处理和分析是Facebook为10亿多活跃用户开发和交付产品的核心所在。 我门拥有世界上最大的数据仓库之一，存储了大约 300PB 以上的数据。 这些数据被一系列不同种类的程序所使用， 包括传统的数据批处理程序、基于图论的数据分析［1］、机器学习、和实时性的数据分析。分析人员、数据科学家和工程师需要处理数据、分析数据、不断地改善我们的
2014-10-09 11:28:52
1886
HTTP协议详解 学习servlet的必备资料
2009-10-25
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人