- 博客(4)
- 收藏
- 关注
查看Hadoop当前集群信息的方法
我想每隔几秒钟就查看Hadoop集群中有哪些正在运行的Job,每个Job正在运行着多少个Map/Reduce Task。这就牵扯到如何查看当前Hadoop集群信息的问题,我查了查相关的资料。用过Hadoop的人肯定都使过它提供的webapp来查看集群信息。这个webapp相当强大,所以我首先想到借用webapp的代码,但发现不太可能。webapp使用JobInProgress对象查看当前J...
2011-06-20 10:04:41 3908
原创 [转]大数据量,海量数据 处理方法总结
大数据量的问题是很多面试笔试中经常出现的问题,比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。 下面的方法是我对海量数据的处理方法进行了一个一般性的总结,当然这些方法可能并不能完全覆盖所有的问题,但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目,方法不一定最优,如果你有更好的处理方法,欢迎与我讨论。 1.Blo...
2010-09-22 09:30:00 137
数据库索引不被使用的情况
众所周知,对数据库建立索引会提高查询效率,而有很多情况会导致引擎放弃使用索引。比如使用字符串截取函数substr(),使用格式转换函数LOWER(),使用IN等。网上甚至有人说只要使用了数据库函数就会导致该情况,真的是这样吗? 首先,让我们看看什么是索引。我觉得可以将聚集索引比喻为知道一个英文单词拼写,然后在字典里查询该词。比如"orange"这个单词,从首字母开始查找,在"n"...
2010-09-05 10:33:34 449 1
原创 [转]Linux下C语言编程基础知识
[size=large]1.源程序的编译[/size] 在Linux下面,如果要编译一个C语言源程序,我们要使用GNU的gcc编译器. 下面我们以一个实例来说明如何使用gcc编译器. 假设我们有下面一个非常简单的源程序(hello.c):[code="c"] int main(int argc,char **argv) { printf("Hello Linuxn...
2010-06-12 12:35:28 126
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人