- 博客(4)
- 收藏
- 关注
RSS订阅查看Hadoop当前集群信息的方法
我想每隔几秒钟就查看Hadoop集群中有哪些正在运行的Job，每个Job正在运行着多少个Map/Reduce Task。这就牵扯到如何查看当前Hadoop集群信息的问题，我查了查相关的资料。用过Hadoop的人肯定都使过它提供的webapp来查看集群信息。这个webapp相当强大，所以我首先想到借用webapp的代码，但发现不太可能。webapp使用JobInProgress对象查看当前J...
2011-06-20 10:04:41
3900
原创 [转]大数据量，海量数据 处理方法总结
大数据量的问题是很多面试笔试中经常出现的问题，比如baidu google 腾讯 这样的一些涉及到海量数据的公司经常会问到。 下面的方法是我对海量数据的处理方法进行了一个一般性的总结，当然这些方法可能并不能完全覆盖所有的问题，但是这样的一些方法也基本可以处理绝大多数遇到的问题。下面的一些问题基本直接来源于公司的面试笔试题目，方法不一定最优，如果你有更好的处理方法，欢迎与我讨论。 1.Blo...
2010-09-22 09:30:00
130
数据库索引不被使用的情况
众所周知，对数据库建立索引会提高查询效率，而有很多情况会导致引擎放弃使用索引。比如使用字符串截取函数substr()，使用格式转换函数LOWER()，使用IN等。网上甚至有人说只要使用了数据库函数就会导致该情况，真的是这样吗？ 首先，让我们看看什么是索引。我觉得可以将聚集索引比喻为知道一个英文单词拼写，然后在字典里查询该词。比如"orange"这个单词，从首字母开始查找，在"n"...
2010-09-05 10:33:34
442
1
原创 ［转］Linux下C语言编程基础知识
[size=large]1.源程序的编译[/size] 在Linux下面,如果要编译一个C语言源程序,我们要使用GNU的gcc编译器. 下面我们以一个实例来说明如何使用gcc编译器. 假设我们有下面一个非常简单的源程序(hello.c):[code="c"] int main(int argc,char **argv) { printf("Hello Linuxn...
2010-06-12 12:35:28
118
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人